itachi123456789 / searchengine Goto Github PK

├── btree
│   ├── bplustree.go     ------btree
│   ├── internode.go     ------btree内节点的定义和操作
│   ├── leafnode.go      ------btree叶节点的定义和操作
│   └── node.go          ------节点的接口类
├── serment    
│   └── segment.go       ------分词部分，对爬虫爬取的数据进行分词
├── invertidx    
│   ├── dict.go          ------由分词部分构成的字典,实现词和整型数据的映射
│   ├── file.go          ------文件相关的操作
│   ├── index.go         ------倒排索引的主要实现,使用外排序算法对分词进行排序
│   └── page.go          ------暂未使用,文件映射功能
├── main.go
└── crawler
    ├── sinaLogin.go     ------模拟登陆模块，工程中实现了新浪微博的模拟登陆
    ├── crawler.go       ------爬虫模块的入口，将接口暴漏于分布式模块
    ├── request.go       ------包装请求
    └── scrawler.go      ------爬虫的辅助类

1. Golang(1.6)           -------开发语言
2. BTree、倒排索引、外排序等算法

写好了实现的大体思路，假期结束还未调通，有时间继续完善。

输入为分词部分构造的词典，输出为设计好的倒排索引文件也是BTree的输入

输出纯文本文件，是分词部分的输入

输入为爬虫部分构造的数据，输出分词字典为倒排的输入

各个模块在main.go中独立运行、调试

1) BPlusTree、RBTree实现、性能分析
2) 应用个人博客的全文索引
3) 使用MapReduce进行外排序的分布式实现
4) 使用深度学习进行分词改进(测试发现结巴分词准确率略低，深度学习在NLP已经很成熟)