How to use:
- Activate env: source env/bin/activate
- To run spider for updating base: cd scrapyTest/scrapyTest/spiders/ scrapy crawl testParse
- Run server: python main.py
P.S. Уже поздно понял что выбрал не подходящую либу для парсинга, с помощью нее не получилось использовать мультипоточность для ускорения работы. На различных форумах советуют использовать асинхронный способ, типа aioHTTP, т.к. многопоточность не сильно ускоряет парсинг, а асинхронное ожидание ответа страницы дает ощутимый прирост скорости - но возможно это не так - нужно тестировать.