Простой парсер сайта habr, где поисковым запросом используется аргумент введенный в командную строку прои запуске.
В качестве базы данных, используется mongodb
, поэтому без пустанговленной mongodb
парсер не заработает.
Для корректной работы с данным парсером, рекомендуется иметь ОС Linux
и связку poetry
+ pyenv
.
Перед запуском проекта необходимо выполнить следжующие действия в командной строке в корне проекте:
pyenv local 3.8.5
pip install poetry
poetry install
poetry run python src/ --query google
Соответсвенно после --query
вы должны вписать соответсвующий поисковой запрос.