Implementação do projeto final 2. cognoscere do latim, conhecer, e minacia, do latim, ameaça. Ferramenta que tem como objetivo medir o nível de interesse de threat actors em fóruns da deep/dark web que estejam a procura de exploits.
Salvar em JSON, neste momento, vai ser um overkill. Não estou conseguindo salvar do formato correto, não to conseguindo achar o problema e estou gastando bastante tempo.
Por isso, irei deixar de lado esta parte de salvar em JSON. Em um futuro próximo conseguirei pensar nisso.
O crawler vai no primeiro post e pega todos os textos das postagens. Agora preciso fazer com que ele volta para a página de resultados, parte onde mostra todas as threads, e ir para o segundo, terceiro, ..., n threads e pegar todas as mensagens.
Processo de CI/CD (preciso até reler e rever os processos de cada um).
Definição de ferramentas para a esteira.
Usar o do Github, TravisCI ou similar ou montar um espaço separado? Se montar um espaço separado, fazer local ou usar um cloud provider (AWS, GCP, Azure, DigitalOcean)?
O código está ficando bem bagunçado e díficil de manter de uma forma ok.
Pontos que preciso levar em conta quando refatorar o código:
Criar uma classe base, tanto para o Scrapy quanto Selenium, que tenha as funcionalidades que preciso que tenha (vai usar proxy? vai passar um cookie? formato para salvar, etc)
Dependendo do sistema operacional arrumar a formatação dos paths
Se estiver rodando em um linux, baixar o torbrowser para linux
Se estiver rodando em um windows, baixar o torbrowser para linux