joshua-jung Goto Github PK

administrative-divisions-of-china

中华人民共和国行政区划：省级（省份直辖市自治区）、 地级（城市）、 县级（区县）、 乡级（乡镇街道）、 村级（村委会居委会） ，**省市区镇村二级三级四级五级联动地址数据 Node.js 爬虫。

anti-anti-spider

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

botflow

Python Fast Dataflow programming framework for Data pipeline work( Web Crawler,Machine Learning,Quantitative Trading.etc)

flask-chatterbot

Simple boilerplate for ChatterBot using Flask

flask-restplus-server-example

Real-life RESTful server example on Flask-RESTplus

googlescraper

A Python module to scrape several search engines (like Google, Yandex, Bing, Duckduckgo, Baidu and others) by using proxies (socks4/5, http proxy) and with many different IP's, including asynchronous networking support (very fast).

grab

Web Scraping Framework

ruia

Async Python 3.6+ web scraping micro-framework based on asyncio

springexplorer