Асинхронный парсер. В качестве сервера используется aiohttp. На вход получает список URL со статьями, определяет степень "желтушности", и на выход отдает список результатов.

Пока поддерживается только один новостной сайт - ИНОСМИ.РУ. Для него разработан специальный адаптер, умеющий выделять текст статьи на фоне остальной HTML разметки. Для других новостных сайтов потребуются новые адаптеры, все они будут находиться в каталоге adapters. Туда же помещен код для сайта ИНОСМИ.PY: adapters/inosmi_ru.py. В перспективе можно создать универсальный адаптер, подходящий для всех сайтов, но его разработка будет сложной и потребует дополнительных времени и сил.

Вам понадобится Python версии 3.7 или старше. Для установки пакетов рекомендуется создать виртуальное окружение.

Первым шагом установите пакеты:

pip install -r requirements.txt

Так же понадбится redis. Можно использовать redis из docker-compose файла в данном репо. Для него необходимо указать параметры port, host, password. Для этого cp env/.env env/.env_file и пропишите в env/.env_file параметры.

Для запуска в Docker:

docker-compose up --build

Для запуска без Docker:

python app.py

В параметрах запроса необходимо передать список url со статьями. Кол-во url в одном запросе не больше 10. Пример запроса:

127.0.0.1:8080/?urls=https://inosmi.ru/social/20190718/245490620.html,https://inosmi.ru/social/20190718/245490620.html,https://inosmi.ru/politic/20190718/245488830.html,https://inosmi.ru/social/20190718/245490620.html,https://inosmi.ru/politic/20190718/245487867.html,https://inosmi.ru/military/20190718/245490081.html

Пример ответа:

{
  "title": "Вот такая вот новость",
  "status": "OK",
  "score": 1.19,
  "words_count": 419
}

Для тестирования используется pytest, тестами покрыты фрагменты кода сложные в отладке: text_tools.py и адаптеры. Команды для запуска тестов:

Запуск всех тестов:

python -m pytest tests/*

Запуск тестов для inosmi:

python -m pytest tests/tests_inosmi_ru.py

Запуск тестов для parse_tool:

python -m pytest tests/tests_parse_tools.py

Запуск тестов для text_tool:

python -m pytest tests/tests_text_tools.py

Код написан в учебных целях. Это урок из курса по веб-разработке — Девман.