gaoakajie / weibospider_forcomments_reposts_attitudes Goto Github PK

本程序可以根据微博的mid爬取对应微博的点赞、转发与评论的几乎全部信息，并将结果写入csv文件中。

• weibo_id = '详细博文的mid'
  
• cookie = 'your cookie 值'

会分别输出三个文件：
attitudes.csv:

• mid:初始微博的mid，为一串数字形式
• attitude_id:初始微博的每一条点赞的id
• attitude_user_id:点赞用户的id
• attitude_user_screen_name:点赞用户的昵称

reposts.csv:

• mid:初始微博的mid，为一串数字形式
• transmit_mid:初始微博的每一条转发的id
• transmit_user_id:转发用户的id
• transmit_user_screen_name:转发用户的昵称
• 该条转发显示的文本内容（eg.“转发微博”字样）

comments.csv:

• mid:初始微博的mid，为一串数字形式
• comment_mid:初始微博的每一条一级评论的id
• comment_user_id:一级评论用户的id
• comment_user_screen_name:一级评论用户的昵称
• comment_content:一级评论的文本内容
• comment_pic_urls:一级评论中包含的图片url
• has_comments:bool值，是否有二级评论
• secondary_comments_num:二级评论的数量
• secondary_comment_mid:二级评论的id
• secondary_comment_user_id:二级评论用户的id
• secondary_user_screen_names:二级评论用户的名称
• secondary_comment_content:二级评论的文本内容
• secondary_comment_pic_urls:二级评论中包含的图片url

输入weibo_id与cookie后直接运行start.py即可

如何获取cookie

1. 用Chrome打开https://weibo.com/
   
2. 点击“立即登录”，完成私信验证或手机验证码验证，进入新版微博
3. 按F12打开开发者工具，在开发者工具的Network->Name->weibo.cn->Headers->Request Headers，找到“cookie:"后的值，这就是我们需要的cookie值，复制即可,如图所示。
   

如何获取初始微博的mid，即weibo-id
方式一：
通过其他微博爬虫，如关键字爬取微博内容等获取相应微博的mid
方式二：（手动获取）

1. 点击某条微博右上角向下箭头符号，复制微博链接
2. 打开新链接，注意链接中最后一串字符串，F12打开开发者工具，在开发者工具的Network->Name中找到'show?id=刚才链接中的字符串'
3. 点击后找到preview->“id:”,其中id后的值就是我们需要的微博mid，复制即可，如图所示。
   

second commit
新增了异常捕获，补充了请求头的信息，注意容易被封ip和账号，要记得更新cookie