Na beeMôn criamos muitos sistemas de raspagem de dados e buscamos todos os dias inovação na analise dos dados. Este desafio esta aberto para todos que quiserem abrir um fork e submeter suas ideias de tecnologia.
Escolher uma dos sites abaixo para fazer o desafio
- Buscar dados de forma automatizada(script de linha de comando ou interface clicavel)
- Padronizar os retornos de forma estruturada (json/csv)
- Sistema de logs de para acompanhamento da execução
- Ter um prova da consulta (Screenshot)
- Armazenamento dos resultados em um banco relacional ou não relacional
- fazer um dataframe que possibilite visualizar os resultados via pandas
- Trazer resultados de forma dinamica sem fixar caminhos no
xpath - Dockerizar a aplicação
- Conseguir agendar uma execução para um dia e horario.
- Selenium
- Scrapy
- Pandas
- Requests
- BeautifulSoup
- Conhecimento em HTML
- Conhecimento em fluxo de request/response
- Conhecimento em extração de dados
- Conhecimento em base64
- Boas práticas de programação
- Utilização de bibliotecas de terceiros
- Documentação
- Criatividade
- Cobertura de testes
- Tempo de execução do código
- Versionamento do código
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent