仅供本人炒股玩耍~ 无参考价值 = ̄ω ̄=
利用fiddler抓取雪球app数据 ( https://www.telerik.com/download/fiddler )
安装依赖包
superagent => http 库,可以发起 get 或 post 请求。
email-templates => 生成邮件模板, 可以使用jade, ejs等视图引擎。
nodemailer & nodemailer-smtp-transport => 发送邮件。
node-schedule => 用于设置定时任务。
mongodb 为方便后期添加分析数据模块, 添加了mongodb数据库。
鉴于雪球有反爬虫策略,反反爬虫策略是依靠定向爬取源的反爬虫策略而定。 通过fiddler对xueqiu.com的数据分析, 这里采用的是动态修改cookie。 一些常用的方法:
- IP代理
- Cookies
- 限速访问
- 获取cookie, 由于app地址拒绝访问, 所以cookie的设置来自于xueqiu.com,其他数据则来源于api.xueqiu.com。
- 获取涨停板模块信息, 这里只截取了前6个板块信息。
- 获取今日重要新闻。
- 编译ejs模块 ejs用于处理邮件模板信息。
- 使用nodemailer 设置邮件信息 处理发送邮件模块。
- 设置定时任务, 工作日下午15:16分发送邮件。
最后运行:node index.js