Comments (6)
interlark
commented on August 31, 2024
2
18 тысяч записей, действительно, могут занять около 9-10 GB RAM.
В v1.1.0 добавлена автоматическая навигация к странице, если в URL есть параметр страницы /page/<номер_страницы>.
Парсинг ссылки https://2gis.ru/moscow/search/ногтевые студии с определённой страницы теперь возможен, если добавить страницу в URL https://2gis.ru/moscow/search/ногтевые студии/page/100.
from parser-2gis.
Roman00591
commented on August 31, 2024
1
Если бы была бы возможность страници выбрать было бы удобно даже при этой проблеме.
from parser-2gis.
interlark
commented on August 31, 2024
1
Запустил парсер, спарсил по ссылке 2410 записей пока оперативная память не закончилась, это около 200 страниц поиска. Ошибки не увидел.
По поводу возможности продолжить работу парсера с определенной страницы идея неплохая.
from parser-2gis.
interlark
commented on August 31, 2024
1000 позиций зависают с одной ссылки? На сколько по времени зависает?
1000 позиций занимают всего где-то 3GB RAM, дело вряд ли в памяти.
Скиньте URL на котором можно потестить эту проблему.
from parser-2gis.
Roman00591
commented on August 31, 2024
https://2gis.ru/moscow/search/Доставка готовых блюд/rubricId/1203
На этой ссылке точно зависает при
зависает и не дальше не грузит вообще.
from parser-2gis.
NaisTuMitYu
commented on August 31, 2024
Пример ссылки с 18 тыс. строками: Москва, ногтевые студии. Трудно сказать сколько надо оперативки под такое, похоже больше 10gb. Выход - по достижении лимита ОЗУ закрывать ссылку, запоминая номер страницы, если это возможно.
from parser-2gis.
Related Issues (20)
- города (населенные пункты) точечные выгрузки HOT 2
- Не загружает все найденные контакты HOT 1
- Pydantic version HOT 2
- Возможен парсинг ссылок типа "https://2gis.ru/firm/70000001036976412" ? HOT 2
- Крашится парсинг HOT 4
- максимальное количество записей HOT 1
- Не работает HOT 1
- Можно ли запустить хром с расширениями? HOT 1
- Не получается установить на макОС HOT 2
- Была бы возможность выбирать какие данные собирать, например только emailы и чтобы в логах видно было сколько собрано HOT 1
- Вопрос по Google Maps и Яндекс Картам HOT 2
- не собирает контакты HOT 1
- error HOT 1
- exception in decoder HOT 1
- Дополнителнить географическими объектами HOT 2
- Парсинг автобусных остановок из 2ГИС HOT 1
- Парсер парковок HOT 1
- Парсер не запускается HOT 2
- Не работает на макос 14.3 HOT 5
- Не открывается на Мак ОС 12.7.4
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from parser-2gis.