Парсер может работать на сервере? about parser-2gis HOT 4 CLOSED

Приветствую. Да, почему бы и нет, тесты же гоняются на headless серверах.

Тут есть 2 подхода:

1. Запускать браузер в обычном режиме, но в с виртуальным "дисплеем" через Xvfb.

sudo apt-get install xvfb
Xvfb -ac :99 -screen 0 1280x1024x16 &
export DISPLAY=:99

pip install parser-2gis
parser-2gis -i "https://2gis.ru/moscow/search/Аптеки" -o results.csv -f csv --parser.max-records 1000

2. Запускать парсер с headless флагом.

pip install parser-2gis
parser-2gis -i "https://2gis.ru/moscow/search/Аптеки" -o results.csv -f csv --parser.max-records 1000 --chrome.headless yes

Тут стоит заметить, что второй подход менее надёжный, т.к. Chrome запущенный в headless режиме в теории можно отследить со стороны 2GIS.

from parser-2gis.

Большое спасибо за совет по запуску парсера. По возможности постараюсь отблагодарить вас за труд)

from parser-2gis.

Первый способ отлично работает

from parser-2gis.

Также серверу желательно находиться в РФ, т.к. при работе из других мест может прилететь каптча после нескольких запросов.

from parser-2gis.