爬虫代理池,实现以下功能:
-
获取代理网站免费代理;
-
使用 redis 存储代理数据;
-
提供测试类测试代理的可用性;
-
提供代理 API 接口;
ProxyPool
├── config # 配置模块
│ └── setting.py
├── proxypool # 代理池
│ ├── comm # 通用模块
│ │ ├── proxy.py
│ │ └── utils.py
│ ├── main.py # 调度器
│ ├── service # 服务
│ │ ├── server.py
│ │ └── tester.py
│ ├── spiders # 爬虫
│ │ └── public
│ │ └── kuaidaili.py
│ └── storages # 存储
│ └── redis_db.py
├── README.md
├── requirements.txt
└── run.py # run
pip install -r requirement.txt
ProxyPool -> config -> setting.py
- 全部运行
python run.py
- 按需运行
python run.py --processor getter
python run.py --processor tester
python run.py --processor server