stakancheck / yandexbusinessesanalysis Goto Github PK

Графовая база данных про бизнесы. Сбор доступной информации, построение взаимосвязей и анализ показателей субъектов МСП по данным ФНС России.

Python 100.00%

bigdata python3 yandex yandex-academy

yandexbusinessesanalysis's Introduction

Hello! I'm Stakancheck...

Contacts

Stats

yandexbusinessesanalysis's People

Contributors

Stargazers

Watchers

yandexbusinessesanalysis's Issues

Ошибка парсинга сайтов не поддерживающих http

LOG:

root - INFO - START WORKING
root - DEBUG - Start get site by url: avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site -> http://avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site/
root - INFO - STATUS 403: avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site -> http://avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site/
root - ERROR - While getting page avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site -> http://avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site/

Добавить проверку на шаблонные номера

Встречается номер +79999999999 в качестве хинта в полях ввода

Сделать запись в бд

Переработать инструмент парсинга информации о компании

Улучшенная сортировка и модерация ссылок для скачивания

Плохо сортируются ссылки при поиске в html, залетают всякие внешние ссылки (Это плохо, нужно либо умный алгоритм придумать, либо кибер сложное составное условие)

Подключить скрапер ИНН и прочей инфы к основному

Разработать скрапер адресов

Информация о компании пустая вызывает ошибку

root - ERROR - Error list index out of range for: avtovek.lada.ru

Загрузка списка ссылок из файла exel

Ссылки берутся из тестового списка (Нужно добавить считывание из exel и минимальную валидацию, чтобы не нагружать лишний раз программу скипать всякие числа и некорректные адреса

Ручной анализ информации с сайтов

Узнать, где располагаются данные на сайтах

Основные виды данных:

ФИО учредителя (какие-то похожие данные)
Официальный номер телефона
Email
ИНН
ОГРН
Расположение компании
ИП, ООО

(Список пополняемый)

В каких форматах лежат данные?
Какие возможные сложности и ошибки?
Какие легче и лучше искать?
Где они располагаются (xpaths; в структуре сайта: футеры, баннеры, навигация; можно скрины и описание)