View Code? Open in Web Editor
NEW
基于BI-LSTM+CRF的中文命名实体识别 Pytorch
chinsesner-pytorch's Introduction
chinsesner-pytorch's People
Contributors
chinsesner-pytorch's Issues
想知道 START、STOP 这些 tag 的用途是什么,更换数据集时 model.py 是不是也要做修改
epoch [7] |███████████████████ | 23/30
loss 1.50
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |████████████████████ | 24/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |████████████████████ | 25/30
loss 1.23
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |█████████████████████ | 26/30
loss 1.24
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |██████████████████████ | 27/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |███████████████████████ | 28/30
loss 1.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |████████████████████████ | 29/30
loss 0.90
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |█████████████████████████| 30/30
loss 0.95
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] | | 1/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█ | 2/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██ | 3/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███ | 4/30
loss 0.65
eval
ORG recall 0.92 precision 1.00 f1 0.96
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████ | 5/30
loss 0.87
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████ | 6/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████ | 7/30
loss 0.70
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████ | 8/30
loss 1.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████ | 9/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████ | 10/30
loss 1.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████ | 11/30
loss 0.83
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████ | 12/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████ | 13/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████ | 14/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████ | 15/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████ | 16/30
loss 0.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████████ | 17/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████ | 18/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████ | 19/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████ | 20/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████████ | 21/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████████████ | 22/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████████ | 23/30
loss 1.45
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████████ | 24/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████████ | 25/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████████████ | 26/30
loss 1.17
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████████████████ | 27/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████████████ | 28/30
loss 1.49
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████████████ | 29/30
loss 0.82
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████████████████| 30/30
loss 0.89
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] | | 1/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█ | 2/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██ | 3/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███ | 4/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████ | 5/30
loss 0.82
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████ | 6/30
loss 1.15
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████ | 7/30
loss 0.50
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████ | 8/30
loss 1.77
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████ | 9/30
loss 0.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████████ | 10/30
loss 1.81
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████████ | 11/30
loss 0.80
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████████ | 12/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████████ | 13/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████████ | 14/30
loss 1.15
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████████████ | 15/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████████████ | 16/30
loss 0.81
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████████████ | 17/30
loss 0.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████████████ | 18/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████████████ | 19/30
loss 0.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████████████████ | 20/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
您好,
我在看了您的代码后 发现您写的特别好,现在想询问下,是否可以加入Word或者Character的信息到输入呢?这样的话features更多更全面一些吧?
谢谢啦!
谢谢你分享的代码,关于原理想请教一些问题:
1.我看了pytorch官方的demo做了一些修改,实际训练过程非常慢。你这里改成batch的形式,lstm用batch的方式,crf层通过for循环累加loss,是为了提高性能,还是为了避免单样本训练不收敛?
2.你这里的loss是通过相加的方式,我初学pytorch,想问一下自动求导机制是会去平均梯度的吗?
你好,我这里输入完指令也不报错,但是没有反应,请问怎么办
data_manager,py line 74
target.append(self.tag_map.get(tag, 0))
而这里的self.tag_map
self.tag_map = {"O":0, "START":1, "STOP":2}
main.py中有个不太明显的拼写错误“"tasg": ["ORG", "PER"]”应该改为
"tags": ["ORG", "PER"]
您好,换成自己的数据集之后,是不是还需要用自己的数据集训练出params.pkl文件,请问怎么基于自己的数据集训练pkl模型呢
想在conll-2003上面试试看,请问可以按照您的数据格式替换训练即可吗,还是说还需要有别的地方进行改动