简单的利用scrapy爬取豆瓣的Top250电影的名称/排名/评分/评论人数存入数据库.代码还有很多不足之处,欢迎提issue.
- 首先就是在往数据库插数据的时候,评分没有注意小数点.结果发现全是近似值,还有满分10分的...很尴尬.后来把score字段改成
float(2,1)
就好了; - 一定要设置
DOWNLOAD_DELAY
和USER_AGENT
; - 频率不要太高...不要一直运行爬虫;
other 尽情玩耍吧^_^
windows10 64位
python2.7.14 64位
pycharm