zhangxiaoxu132113 / admin.uubook Goto Github PK

• 查看网站访问量的分析

  - 查看网站每天的访问流量（PV）趋势 （可以按照时间单位，和时间段进行筛选）
  - 查看网站每天的用户流量（UV）趋势 （可以按照时间单位，和时间段进行筛选）
  - 查看哪个连接访问是最多的 （给个排名的面板，点击面板的查看详细，可以按照时间来查看）
  - 查看全国访问的散点图
  

• 爬虫爬取的趋势分析

  - 查看爬虫每天爬取的任务数量，以及可以查看执行的成功率
  - 查看从不同站点每天获取的数量，已经历史总的数量
  

• 爬虫任务

  - 用户可以创建爬取url连接的任务 （单次任务）
  - 用户可以创建以url或者关键词的爬虫爬取监控任务
     . 如果是基于url的话，爬虫会以这个url作为root，根据url表达式不断的深入挖掘和爬取链接
     . 如果是基于关键词的话，爬虫每天会定时地去查询百度前50条结果，然后分析抓取数据
  

• 爬虫配置

  - 用户可以自定义，自己想要抓取的某个网站的解析规则
  例如 ，servername blog.cnblogs.com (最好是server而不是domain)
        url匹配规则 http://www.cnblogs.com/*/p/*.html
        内容配置规则 #content,#main-content(对应到页面的样式，可以使数组，以逗号隔开) content(解析到的对象字段)
        备注        博客园博文页面抓取
  

内容管理