dub1401 / remangaparser Goto Github PK

Библиотека random_user_agent не обновлялась более 5 лет, а также содержит в своём коде ошибку, изредка добавляющую лишние кавычки к результату "{USER_AGENT}".

Аналогом может стать fake-useragent.

Описание

При запуске двух экземпляров парсера с использованием прокси и режима отправки запросов через Selenium иногда выбрасывается исключение EOFError. Это происходит из-за одновременной работы двух процессов с файлом ProxyExtension.zip.

Как воспроизвести

1. Занести в файл определений Proxies.json валидный прокси
2. Включить настройки use-proxy и selenium-mode в Settings.json.
3. Запустить несколько экземпляров парсера с длительным выполнением множества запросов, лучше всего командой rp.py update.
4. Подождать некоторое время, пока процессы не попытаются осуществить одновременный доступ к файлу ProxyExtension.zip.

Возможные решения

• Для каждого процесса создавать собственный файл расширения, однако это приведёт к загромождению рабочей директории.
• Перейти на систему установки прокси при помощи selenium-wire.

При выходе стабильной версии библиотеки undetected-chromedriver добавить её поддержку через selenium-wire для большей защищённости от блокировщиков автоматических взаимодействий с сайтом.

Описание

При валидации нерабочего прокси (когда дополнению в браузере не удаётся подключиться к прокси-серверу), из-за особенностей функционирования расширения, а именно сбросу настроек сети к стандартным значениям в случае неудачи, запросы через Selenium выполняются без использования прокси, несмотря на то, что это подразумевается. Данная ошибка приводит к неверной интерпретации результатов валидации.

Как воспроизвести

1. Занести в файл определений Proxies.json прокси с синтаксической ошибкой.
2. Включить настройки use-proxy и selenium-mode в Settings.json.
3. Запустить команду rp.py proxval.
4. Если IP компьютера не находится в бане Remanga, то прокси будет показан как исправно работающий, несмотря на ошибку синтаксиса.

Возможные решения

• При валидации прокси через Selenium перед запросом к Remanga переходить на сервис проверки IP и сверять таковой с определением прокси.