java环境，编译源码时报错，五个空指针= =
我把编译报错的log放到百度云了，这是链接：
https://pan.baidu.com/s/1chDQUE
麻烦看一下，谢谢

这些都是曾经的THULAC-Java的问题，现在已经解决掉绝大部分了。

一个库应该有一个作为根的包就够了，为什么现在有四个。。

以下是针对thulac.java的吐槽

thulac.java为什么是小写的，里面既有profiler还有实际逻辑，然后根本没有一个可以直接调用的API，我想直接提取分词的结果还得用文件系统中转一下。
变量命名完全不符合规范，虽然是直接从c++翻译过来的库，但也不应该这样啊。。
为什么输入文件的字符集是硬编码的，而且还不是最常用于中文的GB2312而是UTF-8，这是在逼我先把文件读进来一遍再用UTF8输出一遍吗。。
命令行容错也很捉急，比如输入的是-input -seg_only ...的话，input_file就是-seg_only，后面用InputStreamReader的时候就会FileNotFound，然而这个时候程序并没有终止，接下来在getRaw里面就会报NullPointerException。反正各种地方出了错就直接printStackTrace然后无视掉了，既没有finally块也不终止程序，这样问题很大的知道吗。
FileOutputStream out开了不关也是厉害，虽然Closable在finalize的时候会被关闭掉，但是如果程序本身崩溃（比如上面说的NullPointerException的情况）的话就会直接退出而导致系统资源泄露。
getRaw里面Pattern每次执行到就要重新compile一遍也是真的嫌cpu太快，好歹做个静态的字段缓存一下啊。
代码风格也是。。大括号换不换行，运算符前后加不加空格这种，都是IDE里面一步Format Code就能搞定的事情，难道vim用得太爽不惜发动圣战也要乱写？
各种常量就当做magic number摆在那里真的好吗。。真的不考虑弄个properties文件不用重编译就能调参数吗。。
其他各种小毛病也是一大堆，反正怎么跟best practice不对付就怎么来。。
比如遍历Vector完全可以用自动代码糖的Iterator，非要用for循环，还不把size先提取出来。
比如区别控制台和输出到文件也是直接硬编码，完全可以用PrintWriter把out包一层然后就和System.out是同一个类型了，非要加一个判断然后把同样的代码逻辑写两遍，敢问有人听说过DRY原则吗？
对了明明在main的方法签名里面声明了throws IOException又把所有可能出IOException的地方都直接catch掉是几个意思。。

总之，我现在非常好奇的是，清华的实力到底是怎么样的。。

用户是否可以自己添加停用词？在demo代码中没有看到自助设置停用词的方法

目前SegItem没有offset属性，这个属性对于分词来说也是很关键的，期待增加

能否改成maven项目，优化下接口，并发布到仓库中?

1、
如果 读取到空行的话，words.不清空，输出时候会输出重复行
2、配置信息加载 建议设计成单例模式，工具调用会重复加载，如果用户字典太大会很慢的。

1.建议添加注释，要不然像现在通篇没有注释既不便于使用，又不便于维护。

github文档中中的词性解释是这样的：

n/名词 np/人名 ns/地名 ni/机构名 nz/其它专名
m/数词 q/量词 mq/数量词 t/时间词 f/方位词 s/处所词
v/动词 vm/能愿动词 vd/趋向动词 a/形容词 d/副词
h/前接成分 k/后接成分 i/习语 j/简称
r/代词 c/连词 p/介词 u/助词 y/语气助词
e/叹词 o/拟声词 g/语素 w/标点 x/其它

而实际测试：

我觉得吧，如果非要我说一句话试试看的话，我一定会这么说：苟利国家生死以，岂因祸福避趋之。

输出结果为：

我_r 觉得_v 吧_u ，_w 如果_c 非_d 要_v 我_r 说_v 一_m 句_q 话_n 试试_v 看_v 的_u 话_n ，_w 我_r 一定_d 会_v 这么_r 说_v ：_w 苟利国家生死以_id ，_w 岂因祸福避趋之_id 。_w

可见习语代码为"id"，而非"i",与文档中不符。
可能还有其他不一致之处，我未全部核查。
建议核查并且修改词性解释。

您好，CBTaggingDecoder实例化对象多线程调用存在线程安全问题，里面的成员变量不是线程安全的

每次调用分词方法存在对成员变量的写操作；

反之，如果每次new一个CBTaggingDecoder对象（初始化成员变量等），则模型文件需要重新加载，开销很大

能不能优化一下，使得既能够多线程调用，然后不需要重新加载模型文件（至少重用模型数据结构，或者CBTaggingDecoder对象单例化）

这里的部分成员变量在调用分词方法 有写操作
private int maxLength;
private int len;
private String sequence;
private int[][] allowedLabelLists;
private int[][] pocsToTags;

private CBNGramFeature nGramFeature;
private Dat dat;

private CBModel model;

private Node[] nodes;
private int[] values;
private AlphaBeta[] alphas;
private int[] result;

private String[] labelInfo;

private int[][] labelTransPre;
private int[][] labelTransPost;

public int threshold;

各位老师同学幸苦了，开发了这么好的一个中文分词项目。
不知道是否可以自定义词典？是否可以自定义词性？该如何操作？
如果能有hanlp这样丰富的API和demo就好了，方便大家学习和反馈问题。

现在程序中maxLength=50000，测试分词:

String[] args = {"-t2s","-seg_only","-deli","_","-input",“input.txt”,"-output","output.txt",
				"-model_dir","/Users/XXXX/models"};
thulac.main(args);

其中input.txt为：

一位真正的作家永远只为内心写作，只有内心才会真实地告诉他，他的自私、他的高尚是多么突出。内心让他真实地了解自己，一旦了解了自己也就了解了世界。很多年前我就明白了这个原则，可是要捍卫这个原则必须付出艰辛的劳动和长时期的痛苦

输出分词结果为：

一位真正的作家永远只为内心写作，只有内心才会真实地告诉他，他的自私、他的高尚是多么突出。内心让他真实地了解自己，一旦了解了自己也就了解了世界。很多年 前 我 就 明白 了 这个 原则 ， 可是 要 捍卫 这个 原则 必须 付出 艰辛 的 劳动 和 长 时期 的 痛苦 ， 因为 内心 并非 时时刻刻 都 是 敞开 的 ， 它 更 多 的 时候 倒是 封闭 起来 ， 于是 只有 写作 ， 不 停 地 写作 才 能 使 内心 敞开 ， 才 能 使 自己 置身 于 发现 之中 ， 就 像 日出 的 光芒 照亮 了 黑暗 ， 灵感 这时候 才 会 突然 来到 。

问题：

1. 分割词为“ ”，而非自定义的“_”
2. 长段文字未分词

对于解决问题2的建议

1. 如果maxLength没有什么存在必要的话，建议去除，因为它明显降低长句时分词正确性。建议在public static Vector getRaw中，永远对标点符合进行识别，而不进行if(ans.length() < maxLength)的比较
2. 建议将public static Vector getRaw中正则表达式识别如下修改：

Pattern p = Pattern.compile(".*?[：\\.．。？！；;!?，,、 \"\'“”‘’\n\r【】《》");

以识别更全的标点符号(可考虑在此基础上增添其他符号，但是中文常用的、“”‘’""不能少！)
原文件为：

Pattern p = Pattern.compile(".*?[。？！；;!?]");

修改后运行结果：(同时将maxLength值设为1)

一 位 真正 的 作家 永远 只 为 内心 写作 ， 只有 内心 才 会 真实 地 告诉 他 ， 他 的 自私 、 他 的 高尚 是 多么 突出 。 内心 让 他 真实 地 了解 自己 ， 一旦 了解 了 自己 也 就 了解 了 世界 。 很多年 前 我 就 明白 了 这个 原则 ， 可是 要 捍卫 这个 原则 必须 付出 艰辛 的 劳动 和 长 时期 的 痛苦 ， 因为 内心 并非 时时刻刻 都 是 敞开 的 ， 它 更 多 的 时候 倒是 封闭 起来 ， 于是 只有 写作 ， 不 停 地 写作 才 能 使 内心 敞开 ， 才 能 使 自己 置身 于 发现 之中 ， 就 像 日出 的 光芒 照亮 了 黑暗 ， 灵感 这时候 才 会 突然 来到
。

老师好，在使用JAVA版分词时，若文本出现空行，该分词器会自动把下一行内容填充到该行（空行），因此会出现重复词频。第一次使用时不会该情况，改变参数segOnly再次调用则会出现。

首先,需要了解一些基本事实: 􀂄 **的小麦依靠自给。

据香港媒体报导,嫩模Jeana(何佩瑜)四处惹是非,结果被其他𡃁模群起围攻,指她整容。

at java.util.Vector.get(Unknown Source)
at org.thunlp.thulac.cb.CBTaggingDecoder.segment(CBTaggingDecoder.java:276)

貌似是POCGraph graph对象与句子长度不一致

句子中特殊字符占据两个长度，而POCGraph graph对象少了一个长度

补充：

后面的方法 this.nGramFeature.putValues(sequence, len); 里面用到sequence.charat(i)方法，都会出问题了

It's better to show usage , open/impl showhelp?

thulac4j是THULAC的Java 8实现，做了如下的优化：

1. 规范化分词词典，并去掉一些无用词；
2. 重写DAT（双数组Trie树）的构造算法，生成的DAT size减少了8%左右，从而节省了内存；
3. 简明化分词流程，便于功能扩展。

欢迎大家对比使用。