Перестает парсить на 5 странице 2ГИС about parser-2gis HOT 11 CLOSED

Привет, этот случай какое-то исключение, остальные нормально парсит?
Ошибка валидации API, в след. версии парсера надо получше выводить информацию о таких случаях.
Я попробовал запустить указанную ссылку - нормльно спарсило.
Браузер, случайно, не скрываете?

issue19.csv

from parser-2gis.

from parser-2gis.

Как я вам завидую, что у вас все парсит! И что вы сумели написать эту программу!
Но вот я сейчас попробовал другую категорию и опять, на 5 странице "парсинг завершен", закрылся Хром с 2ГИС и всё (( Опять только 37 организаций и всё ((
Можете помочь мне?

from parser-2gis.

1. Попробуйте последнюю версию парсера.
2. Убедитесь что у вас достаточно свободной RAM.

from parser-2gis.

Странно, что https://2gis.kz/nur_sultan работает, 2GIS недавно внёс изменения и теперь это https://2gis.kz/astana.
На первый взгляд, похоже что просто недостаточно RAM.

from parser-2gis.

Здравствуйте.
Проверил версию 1.
Не работает. На 5 странице 2ГИС пытается продолжать парсить, но не парсит. И не останавливается. Ошибки не выдает никакой. Пришлось вручную принудительно программу остановить.
Я думаю здесь дело не в моем компе, а просто программа не может обойти какое-то ограничение 2ГИС. И это ограничение срабатывает всегда на 5 странице на 37 организации.
И дело не в названии города, потестил Питер, все тоже самое, 5 страница и конец.

Но для чистоты эксперимента, вдруг я что-то делаю не так? Можете спарсить вот по этой ссылке организации, сколько штук у вас в итоге получится? 2ГИС показывает 3270 фирм. Сможете мне выслать файл Эксель?
https://2gis.kz/nur_sultan/search/продукты

from parser-2gis.

Проверьте также не установлен ли слишком низкий Лимит RAM в Настройках.

from parser-2gis.

Я не понимаю, а как у вас без задержки кликов идет парсинг? Если я ставлю такие же параметры как у вас по кликам, то сразу же появляется ошибка Authorization error.

А когда я ставлю задержку кликов 6000 миллисекунд, то парсинг идет, но опять только до 5 страницы. Дальше не парсит.

from parser-2gis.

Я такое поведение наблюдал при парсинге за территорией РФ. Проверьте ещё раз территориальную принадлежность IP адреса, например тут https://2ip.ru или https://ipaddress.my.

Парсить за территорией РФ действительно возможно только с больши́ми задержками кликов, т.к. трафик не из РФ 2GIS не интересует.

from parser-2gis.

Вот.
Я взял НОВУЮ программу под VPN. Взял НОВЫЕ Российские прокси. Запустил парсер и … всё получилось! Парсит все страницы! Как же я рад!
Благодарю!
Денюжку на поддержку разработки сбросил на Qiwi!

from parser-2gis.

Рад, что проблема разрешилась, за поддержку благодарю.

from parser-2gis.