happylee6688 Goto Github PK

baidupcs

百度网盘命令行工具。The terminal utility for Baidu Network Disk.

baidupcs-go

百度网盘客户端 - Go语言编写

distributed_spider_pku_java

1. 主要分为三个模块，一个爬虫抓取模块，一个是数据处理模块，一个是用户模块。 2. 爬虫抓取模块主要是从直播吧、新浪体育、网易体育上爬取有关足球的新闻和用户关于足球的评论，利用集群HADOOP抓取网页，分析得出URL集，提取特征URL 3. 网页linux脚本过滤得到原始网页，然后二次过滤得到文本，并使用分布式储存。 4. 处理模块主要是根据训练集规则一和规则二，得到分词器，然后对文本进行操作，得出训练结果。 5. 通过特征脚本得到训练结果的特征词分类，然后提取出球队模糊集和球星模糊集。 6. 过滤得到球队精确集和球星精确集，并存入MYSQL数据库。 7. 从数据库中提取球星和球队的信息进行图表分析，并动态显示WIKI信息，调入显示模块中和用户进行交换

flashgetter

MultiThread Downloading Tool with Java Swing

javabug

省食药监的一个小爬虫，获取一些基础数据。

lianjiaspider

链家地产房产信息收集程序-个人使用

openurls

一个类似论坛爬虫的工具，用java写的，把某个页面的所有帖子中，图片和种子地址（说到这你应该明白了吧）全部下载到本地，然后本地查看是否需要下载。

pythonspidernotes

Python入门网络爬虫之精华版

sharesdata

spider

使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。

spider-1

利用HttpClient4+实现网络小说爬虫，可动态添加热门的小说网站

study

tb_tddl

tprofiler

TProfiler是一个可以在生产环境长期使用的性能分析工具

weibo-spider

新浪微博爬虫，采用Java语言开发，基于HTTPClient 4.0，采用MySQL存储爬取数据，支持多进程并发执行。功能包括：爬取微博、评论、转发、关注列表（层次）。根据数据需求，持续更新...

xueqiusuperspider

雪球股票信息超级爬虫

zebra

美团点评集团统一使用的MySQL数据库访问层的基础组件。主要提供对业务开发透明、读写分库、分库分表能力，并提供了端到端SQL监控的集成方案。