Code Monkey home page Code Monkey logo

yandex_coordinates_parsing's Introduction

Парсинг данных о длине маршрутов из Яндекс Карт

Описание проекта

Программа предназначена для поиска маршрутов между точками, заданными в виде координат, а также для определения того, что за объект находится на выбранных координатах. Программа составляет ссылку на маршрут между точками, отправляет запрос по этой ссылке, и, получив ответ, ищет на странице число километров между точками. После этого программа составляет ссылку на одну из точек, отправляет запрос и ищет в полученном ответе адрес объекта. Итоговый результат формируется в виде матрицы расстояний между точками и матрицы ссылок на маршруты, матрицы сохраняются в excel-файл. Запросы отправляются при помощи requests_html. Чтобы избежать возникновение капчи, запросы отправляются с интервалами в 5-30 секунд. Если не удалось избежать капчи, то запросы будут в течение некторого времени повторно отправляться до получения ответа, при неудаче вместо ответа будет получено сообщение о неудаче и процесс продолжится.

Требования для установки

  • Python версии 3.x
  • Установка пакетов, перечисленных в requirements.txt

Как использовать программу

Запуск производится из файла Yan_EMIS.py py Yan_EMIS.py В проекте присутствует тестовый файл, на котором можно опробовать программу. При первом запуске программы она может вместо отправки запросов начать устанавливать chromium, так как он нужен для создания сессий. Путь до файла, с которого будут считывться данные нужно указывать в функции read_dataset() (395 стр. кода). Внутри этой функции можно вручную корректировать то, какие столбцы и строки файла считывать. Для выбора столбцов для считывания нужно менять параметр usecols=, для пропуска строчек, например пустых, указывается параметр skiprows=, число считываемых строчек можно указать параметром nrows=. Во время работы программа может писать предупреждения вида "Удалённый хост принудительно разорвал существующее подключение", что не является проблемой, происходит закрытие предыдущих сессий.

yandex_coordinates_parsing's People

Contributors

daniil432 avatar

Stargazers

 avatar  avatar  avatar  avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.