stakancheck / yandexbusinessesanalysis Goto Github PK

Узнать, где располагаются данные на сайтах

Основные виды данных:

1. ФИО учредителя (какие-то похожие данные)
2. Официальный номер телефона
3. Email
4. ИНН
5. ОГРН
6. Расположение компании
7. ИП, ООО

(Список пополняемый)

В каких форматах лежат данные?
Какие возможные сложности и ошибки?
Какие легче и лучше искать?
Где они располагаются (xpaths; в структуре сайта: футеры, баннеры, навигация; можно скрины и описание)

Плохо сортируются ссылки при поиске в html, залетают всякие внешние ссылки (Это плохо, нужно либо умный алгоритм придумать, либо кибер сложное составное условие)

LOG:

root - INFO - START WORKING
root - DEBUG - Start get site by url: avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site -> http://avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site/
root - INFO - STATUS 403: avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site -> http://avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site/
root - ERROR - While getting page avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site -> http://avtotsentr-kgs-ulitsa-60-let-oktjabrja.clients.site/

Встречается номер +79999999999 в качестве хинта в полях ввода

Ссылки берутся из тестового списка (Нужно добавить считывание из exel и минимальную валидацию, чтобы не нагружать лишний раз программу скипать всякие числа и некорректные адреса

Должен объединять остальные и проходиться по всем файлам сайтов