Ждем обновлений от прекрасного нашего разработчика) вот только начал внедрять эту прогу в работу. недолго продлилось) about parser-2gis HOT 11 CLOSED

Раньше до 9 тыс компаний парсил. а сейчас до 200 еле набирает((((

from parser-2gis.

+++ хорошая программа)

from parser-2gis.

хотя бы чтобы вручную можно было капчу вводить и он продолжал с места остановки

from parser-2gis.

хотя обычно можно было капчу вводить и он продолжал с места остановки

согласен))

from parser-2gis.

Очень ждем!

from parser-2gis.

Если можно, то хотя бы сделать продолжение с места остановки, пожалуйста. Капчу можно и пощелкать при желании.

from parser-2gis.

парсинг мертв

from parser-2gis.

Да, ждем обновлений, спасибо!

from parser-2gis.

Ждем обновления, спасибо! Согласен что капчу можно и руками ввести. Главное чтобы парсер не падал после нее

from parser-2gis.

Капча была введена 2gis экспериментально -- сейчас её уже нет, поэтому этот issue закрыт.

from parser-2gis.

Опять капча появляется, конечно не сразу, но со страницы 200-300 стабильно. Большие задержки между кликами не помогают, рандомное увеличение задержки тоже. Когда капча появляется, парсер работу не прекращает, а продолжает перебирать страницы, но через некоторое хромиум сообщает "Aw, Snap!" и Error code: SIGTRAP.

Прохождение капчи в ручном режими очень неудобно, когда программа запускается в консольном режиме, а подключение сторонних сервисов для разгадывания капчи может быть сложно. В качестве промежуточного решения было бы здорово, если бы при появлении требования капчи консольная версия завершала работу и возвращала номер последней успешной страницы, чтобы после можно было перезапустить и продолжить со следующей страницы.

UPD: Иногда вылетает с такой ошибкой:

17/02/2024 18:13:27.043 | INFO     | Парсинг ссылки завершён.
17/02/2024 18:13:27.679 | ERROR    | Ошибка во время работы парсера.
Traceback (most recent call last):
  File "/mnt/TOSHIBA-2TB/Sources/github_parser-2gis/parser_2gis/runner/cli.py", line 29, in start
    parser.parse(writer)
  File "/mnt/TOSHIBA-2TB/Sources/github_parser-2gis/parser_2gis/parser/parsers/main.py", line 209, in parse
    self._chrome_remote.perform_click(link)
  File "/mnt/TOSHIBA-2TB/Sources/github_parser-2gis/parser_2gis/chrome/remote.py", line 359, in perform_click
    resolved_node = self._chrome_tab.DOM.resolveNode(backendNodeId=dom_node.backend_id, _timeout=timeout)
  File "/mnt/TOSHIBA-2TB/Sources/venv/lib/python3.10/site-packages/pychrome/tab.py", line 177, in call_method
    raise CallMethodException("calling method: %s error: %s" % (_method, result['error']['message']))
pychrome.exceptions.CallMethodException: calling method: DOM.resolveNode error: Node with given id does not belong to the document
17/02/2024 18:13:27.684 | INFO     | Парсинг завершён.

from parser-2gis.