Implementar delay no `./bot/url_spider.py`quando site não estiver respondendo about covid19-br HOT 3 OPEN

@endersonmaia a ideia aqui é melhorar a requisição feita com o scrapy?

Estive olhando para a documentação, acho que a princípio pode ser usado o max_retry_times. Preciso ver se existe a possibilidade de adicionar um exponential backoff retry de alguma forma.

Acabei de chegar aqui, então ainda estou sem contexto. Como esse script é executado? Tem algum scheduler, tipo um Celery, por trás? Isso ia facilitar bastante as coisas... 🤔

Estou disposto a assumir o desenvolvimento desta issue.

from covid19-br.

@leandrogs não encontrei no código ou documentação referecia à como este agendamento está sendo feito, mas observando o comportamento do bot nos canais, as verificações perecem estar sendo feitas a cada 5min

estou presumindo que seja alguma crontab no servidor do brasil.io, mas @turicas pode nos confirmar isso aí

from covid19-br.

Está no crontab de 5 em 5min. Daria para fazer uma alteração para checar se deu erro na última vez que verificou e "pular" uma verificação. Tenho outras prioridades nesse projeto no momento e não consigo ver isso.

from covid19-br.