支持python3 爬取的信息格式可参考project.csv
可根据具体信息需求对脚本进行调整,以适应任务
由于是临时的任务,所以选取了selenium的方法来进行爬虫(比较low),如果有大神有想法,可以重构 \
sudo cp chromedriver /usr/bin/
sudo chmod a+x /usr/bin/chromedriver \
pip3 install selenium
需要提前将搜索的关键字,选项手动选好搜索之后将url网址替换到.py文件中相应的url变量赋值,并且要将该搜索情况下的页数填入page_num,根据自己的cpu性能填写threadNum数量(这将影响你的爬虫完成速度)
总结来说 \
1.设置url
2.设置page_num
3.设置threadNum
使用之前只需设置好这三个参数就可以开始跑了 ubuntu/windows 中终端里 python3 ccgp_gov.py 即可
1.**政府采购网 有些 预算金额并没有完全按照 统一的格式来填写,有些是需要跳转到公告正文处来查看,而公告正文的形式并不统一,所以这一部分的信息需要手动填入
2.信息采集的页面大多数是以统一的表格形式呈现的,但有部分信息是直接以非统一标准格式的公告正文展示的,这部分比较少但存在,对于这一部分爬虫采集较为困难,非标准版面,标识用词也不统一,所以遇到这种情况,csv文件中都以"异常版面,需手动标注"进行填充,但相应的网址正常保留,这一部分也是需要大家手动填入的 \
如果有大神可以帮助改进当然更好