subarusama / cognos Goto Github PK

Mostra todo o processo de como fiz para treinar os modelos

Antes de sair escrevendo o script SQL, rever os conceitos de banco de dados, modelagem de dados.

Definir quais campos serão importantes, necessários e estruturar as relações entre as tabelas.

Ao invés de modificar o código diretamente, utilizar arquivos próprios para isso.

Ver e avaliar o uso do YAML e do TOML para passar as configs que podem ser passadas (Issue #10)

Salvar em JSON, neste momento, vai ser um overkill. Não estou conseguindo salvar do formato correto, não to conseguindo achar o problema e estou gastando bastante tempo.

Por isso, irei deixar de lado esta parte de salvar em JSON. Em um futuro próximo conseguirei pensar nisso.

O crawler vai no primeiro post e pega todos os textos das postagens. Agora preciso fazer com que ele volta para a página de resultados, parte onde mostra todas as threads, e ir para o segundo, terceiro, ..., n threads e pegar todas as mensagens.

Processo de CI/CD (preciso até reler e rever os processos de cada um).

Definição de ferramentas para a esteira.

Usar o do Github, TravisCI ou similar ou montar um espaço separado? Se montar um espaço separado, fazer local ou usar um cloud provider (AWS, GCP, Azure, DigitalOcean)?

O código está ficando bem bagunçado e díficil de manter de uma forma ok.

Pontos que preciso levar em conta quando refatorar o código:

• Criar uma classe base, tanto para o Scrapy quanto Selenium, que tenha as funcionalidades que preciso que tenha (vai usar proxy? vai passar um cookie? formato para salvar, etc)
• Necessito de algum design pattern? (utilizar como base: https://refactoring.guru/)
• TDD (Test Driven Development)

As credenciais podem ser movidas para um banco, sqlite bem basicão. Desta forma não preciso mais de um arquivo toml perdido no meio.

Definir a arquitetura. Ler sobre engenharia e arquitetura de software.

Microservices? REST? Multilinguagem (Java, Go, Kotlin, PHP Laravel)?

Analisar os prós e contras de MySQL ou Postgres.

O objetivo dos dois são exatamento os mesmos, então fica mais algumas particularidades para analisar.

Dependendo do sistema operacional arrumar a formatação dos paths
Se estiver rodando em um linux, baixar o torbrowser para linux
Se estiver rodando em um windows, baixar o torbrowser para linux

Usar linter? Qual, pep8 ou black?

Usar qual ferramenta para gerenciar as libs: pip ou poetry?

Framework de test: nose, pytest ou unittest?

Verificar o uso do ORM SQLAlchemy para interagir com o banco.