爬虫代理池，实现以下功能：
-
获取代理网站免费代理；
-
使用 redis 存储代理数据；
-
提供测试类测试代理的可用性；
-
提供代理 API 接口；
ProxyPool
├── config # 配置模块
│ └── setting.py
├── proxypool # 代理池
│ ├── comm # 通用模块
│ │ ├── proxy.py
│ │ └── utils.py
│ ├── main.py # 调度器
│ ├── service # 服务
│ │ ├── server.py
│ │ └── tester.py
│ ├── spiders # 爬虫
│ │ └── public
│ │ └── kuaidaili.py
│ └── storages # 存储
│ └── redis_db.py
├── README.md
├── requirements.txt
└── run.py # run
pip install -r requirement.txtProxyPool -> config -> setting.py
- 全部运行
python run.py- 按需运行
python run.py --processor getter
python run.py --processor tester
python run.py --processor server
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent