基础爬虫项目,适合初学者使用。html解析使用BeautifulSoup
库,代码中涉及到了一点点正则表达式和文件IO。
1.安装库
pip install beautifulsoup4
没有re的话
pip install re
可能需要sudo
2.运行
python main.py
3.查看log
第一个argument
为操作,page
或者page inside
。第二个为页码,page inside
没有页码但有序列号和时间与标题。第三个为http
状态码。详见这里