PR about covid19-br HOT 16 CLOSED

Boa notícia @turicas ! A Secretaria de Estado da Saúde do Paraná liberou a extensão CSV! Basta substituir a extensão pdf por csv na URL.

from covid19-br.

@leo-smi você viu o corona_pr_spider.py que eu fiz nesse repositório? Os dados do PR que estão no Brasil.IO são resultado desse script. Eu uso a biblioteca rows para extrair o PDF - ainda não está tão boa/fácil para esse PDF quanto o camelot, mas funciona.

from covid19-br.

@leo-smi por enquanto não (eu rodo e atualizo). Ainda estou automatizando os processos para que tudo fique o mais automatizado possível.
As planilhas no Google vão mudar de estrutura, pra facilitar quem precisará digitar à mão os dados.

from covid19-br.

Me mandaram isso:
"Atualização sobre o PR, talvez ajude:

• adicionaram um excelzão, hehe.
• e uma tabela html nessa página aqui: http://www.coronavirus.pr.gov.br/Campanha/Pagina/TRANSPARENCIA-Enfrentamento-ao-Coronavirus-4 "

from covid19-br.

Paraná com arquivos csv http://www.saude.pr.gov.br/modules/conteudo/conteudo.php?conteudo=3507

from covid19-br.

Ainda não está perfeito, mas já fiz uma implementação inicial em web/spiders/spider_pr.py (baixa somente os CSVs). Por isso fecharei essa issue.

from covid19-br.

https://github.com/CoronaTrack/Covid19-Parana-Database

from covid19-br.

Amigo esse spider aí ta atualizando o arquivo no google drive? então faltam 23 desses pra cobrir todos os estados?

from covid19-br.

O spider do Paraná tá quebrando pra o dia 22/3. Tou investigando.

from covid19-br.

Coisas que tentei até agora pra extrair dados do pdf do dia 22:

• Usar a biblioteca tabula-py
• Usar a bibiloteca camelot

Tabula é bem fácil de instalar e usar (e os dados extraídos são um DataFrame pandas). Camelot tem até um exemplo simples de como usar aqui: https://github.com/CoronaTrack/Covid19-Parana-Database/blob/master/covid19_PR.ipynb

Nenhuma dessas bibliotecas (incluindo rows, que é a usada pelo spider atual do Paraná) consegue parsear esse pdf com sucesso.
Exemplo do resultado usando Tabula (atenção que a tabela rola para a direita):

Notem que a partir da regional 7a – RS as colunas seguintes parecem estar deslocadas à esquerda.

Alguém tem alguma ideia ou sugestão?

from covid19-br.

Rodei o tabula "na mão" e deu certo. Fiz um cron simples pra verificar e avisar qdo o índice de boletins for alterado.

Dados de 24/3: https://docs.google.com/spreadsheets/d/e/2PACX-1vRU-AIpWul3Tk2EW4EBSgUwzHnv3SHZjOCprHnuuB7O47uxN4h000axmdNFpPPBKvyIhUcjUy6Tle92/pubhtml

from covid19-br.

Olá, @biketrooper . É especificamente com o pdf do dia 22 que não funciona.

from covid19-br.

Boa notícia @turicas ! A Secretaria de Estado da Saúde do Paraná liberou a extensão CSV! Basta substituir a extensão pdf por csv na URL.

que maravilha

from covid19-br.

Muito bom, o Paraná aprendendo com os erros!

from covid19-br.

Ainda não está perfeito, mas já fiz uma implementação inicial em web/spiders/spider_pr.py (baixa somente os CSVs). Por isso fecharei essa issue.

A Secretaria de Estado da Saúde do Paraná alterou o diretório de armazenamento dos PDFs e CSVs. Inseriu no caminho um diretório referente aos meses.

from covid19-br.

http://www.saude.pr.gov.br/Pagina/Coronavirus-COVID-19

from covid19-br.