Comments (16)
Привет. Да, видимо, 06.07.23 2GIS решил ввести капчу, т.к. слишком много людей стали использовать парсер и компания стала чувствовать убытки. Единственный выход - это подключение captcha-resolver сервиса, например anti-captcha. Если свободное время - сделаю, да и pull реквесты приветствуются.
from parser-2gis.
Кто-нибудь пробовал играть с задержкой, как при бо́льших задержках реагирует 2GIS?
from parser-2gis.
Там не зависит от задержки. У меня сработало таким образом:
- --chrome.disable-images нет
- --parser.delay_between_clicks {любое}
- Когда открывается окно Google Chrome, открывается вкладка "Еще раз в компьютере".
- В том же tab триггерите капчу и решаете. Это повлияет на триггер капчи в основном на вкладке и он не будет вылазит. По случаю, у меня так сработало.
Капчу решаете самостоятельно!
Капча решается и город не парсится дальше, 1 страницу выдачи собирает а их ещё 10 может быть и оп, новый город парсит
from parser-2gis.
всем привет да я играл с задержкой с 1до 20 ни помогло
from parser-2gis.
Попробовал задержку и 500 и 1000 и 2000 и 4000 всё равно вылетает капча, потом как только её введёшь 1 страница собирается и парсинг этого города завершается хотя там ещё страниц 10 может быть
from parser-2gis.
Там не зависит от задержки. У меня сработало таким образом:
- --chrome.disable-images no
- --parser.delay_between_clicks {любое}
- Когда открывается Google Chrome window, самостоятельно открываете еще раз в другом tab.
- В том же tab триггерите капчу и решаете. Это повлияет на триггер капчи в основном tab и он не будет вылазит. По крайней мере, у меня так сработало.
Капчу решаете самостоятельно!
from parser-2gis.
В том же хроме открыть другую вкладку и там решить?
from parser-2gis.
В том же хроме открыть другую вкладку и там решить?
Да!
from parser-2gis.
Там не зависит от задержки. У меня сработало таким образом:
- --chrome.disable-images нет
- --parser.delay_between_clicks {любое}
- Когда открывается окно Google Chrome, открывается вкладка "Еще раз в компьютере".
- В том же tab триггерите капчу и решаете. Это повлияет на триггер капчи в основном на вкладке и он не будет вылазит. По случаю, у меня так сработало.
Капчу решаете самостоятельно!
Капча решается и город не парсится дальше, 1 страницу выдачи собирает а их ещё 10 может быть и оп, новый город парсит
Такая же проблема, кажется, что можно обойти в случае, если добавить условие по парсингу определенного количества страниц выдачи, новому открытию окна браузера и начала парсинга со следующей страницы, относительно которой закончили. Но это надо кодить))0)
from parser-2gis.
Там не зависит от задержки. У меня сработало таким образом:
- --chrome.disable-images no
- --parser.delay_between_clicks {любое}
- Когда открывается Google Chrome window, самостоятельно открываете еще раз в другом tab.
- В том же tab триггерите капчу и решаете. Это повлияет на триггер капчи в основном tab и он не будет вылазит. По крайней мере, у меня так сработало.
Капчу решаете самостоятельно!
К сожалению не помогает, капча не триггерится =(
from parser-2gis.
Привет. Да, видимо, 06.07.23 2GIS решил ввести капчу, т.к. слишком много людей стали использовать парсер и компания стала чувствовать убытки. Единственный выход - это подключение captcha-resolver сервиса, например anti-captcha. Если свободное время - сделаю, да и pull реквесты приветствуются.
У кого-нибудь получилось прикрутить антикапчу ?
from parser-2gis.
Интересно, что продолжает парсить до конца страницы, после решения капчи.
После чего завершает парсинг...
from parser-2gis.
Способ с решением капчи в другом окне браузера работает. В настройках парсера главное не забыть включить отображение изображений на странице, иначе вы просто не сможете решить капчу.
Начинаете парсить, сразу же как открывается браузер, копируете ссылку и открываете второе окно. После начинаете листать по страницам, тем самым вы триггерите капчу. Решаете капчу и не открывайте первую страницу (ниже объяснил почему страницу открывать не стоит). После этих манипуляций капча появляться перестанет, по крайней мере я проверял на 1200 организациях и она не появлялась.
Не знаю как у вас, но у меня бывает парсер может перейти в конкретную организацию и закончить парсить, но если не находиться на странице, где происходит парсинг, то вы не столкнетесь с этой проблемой.
from parser-2gis.
Способ с решением капчи в другом окне браузера работает. В настройках парсера главное не забыть включить отображение изображений на странице, иначе вы просто не сможете решить капчу.
Начинаете парсить, сразу же как открывается браузер, копируете ссылку и открываете второе окно. После начинаете листать по страницам, тем самым вы триггерите капчу. Решаете капчу и не открывайте первую страницу (ниже объяснил почему страницу открывать не стоит). После этих манипуляций капча появляться перестанет, по крайней мере я проверял на 1200 организациях и она не появлялась.
Не знаю как у вас, но у меня бывает парсер может перейти в конкретную организацию и закончить парсить, но если не находиться на странице, где происходит парсинг, то вы не столкнетесь с этой проблемой.
Сейчас ворк?У меня перестает парсить
from parser-2gis.
Способ с решением капчи в другом окне браузера работает. В настройках парсера главное не забыть включить отображение изображений на странице, иначе вы просто не сможете решить капчу.
Начинаете парсить, сразу же как открывается браузер, копируете ссылку и открываете второе окно. После начинаете листать по страницам, тем самым вы триггерите капчу. Решаете капчу и не открывайте первую страницу (ниже объяснил почему страницу открывать не стоит). После этих манипуляций капча появляться перестанет, по крайней мере я проверял на 1200 организациях и она не появлялась.
Не знаю как у вас, но у меня бывает парсер может перейти в конкретную организацию и закончить парсить, но если не находиться на странице, где происходит парсинг, то вы не столкнетесь с этой проблемой.Сейчас ворк?У меня перестает парсить
Да, сегодня проверил, работает полностью
from parser-2gis.
Как уже упоминал в #33, капчу сервис убрал.
from parser-2gis.
Related Issues (20)
- Возможен парсинг ссылок типа "https://2gis.ru/firm/70000001036976412" ? HOT 2
- Крашится парсинг HOT 4
- максимальное количество записей HOT 1
- Не работает HOT 1
- Можно ли запустить хром с расширениями? HOT 1
- Не получается установить на макОС HOT 2
- Была бы возможность выбирать какие данные собирать, например только emailы и чтобы в логах видно было сколько собрано HOT 1
- Вопрос по Google Maps и Яндекс Картам HOT 2
- не собирает контакты HOT 1
- error HOT 1
- exception in decoder HOT 1
- Дополнителнить географическими объектами HOT 2
- Парсинг автобусных остановок из 2ГИС HOT 1
- Парсер парковок HOT 1
- Парсер не запускается HOT 2
- Не работает на макос 14.3 HOT 5
- Не открывается на Мак ОС 12.7.4
- calling method: DOM.resolveNode error
- Неверные ссылки
- нужно каждую рубрику цокать кликать мышкой
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from parser-2gis.