Jupyter Notebook com passo a passo para raspagem de dados (Web Scraping) do Google Scholar.

Input: lista de nomes dos pesquisadores, em arquivo formato xls(Excel) ou planilha do Google Sheet.

Ouput: duas tabelas com os dados, para xls ou Google Sheet. Primeira tabela com dados dos profiles dos pesquisadores, e a segunda tabela com dados das publicações dos pesquisadores.

Para usar servidor proxy precisa executar o notebook localmente, ou seja, baixar o notebook na sua máquina executar em ambinte Python com as bibliotecas instaladas. Recomendo Winpython. Já vem com várias bibliotecas, Jupyter Notebook, Jupyter Lab, instala via PIP e é portátil (pode colocar em um pen-drive).

Único serviço de proxy que funcionou foi o Scraper API. Cadastro é gratuito, com limite de 1000 acessos ao mês por conta. Esse limite parece fictício, na pratica consegui mais que 1000 acessos.

A classe ScraperAPI já está incluída na parte de funções no notebook.

Basta adicionar o código abaixo no notebook antes de fazer qualquer raspagem.

Lembre-se de pegar o token no Site do Scraper API e substituir na 2ª linha deste código.

pg = ProxyGenerator()
pg = ScraperAPI('token do site do ScraperAPI')
scholarly.use_proxy(pg)
scholarly.set_timeout(120)