xusenlinzy / lit-ie Goto Github PK

uie的loss极小但是表现一般，是UIE的设置不对吗还是性能就这样？全部使用默认参数和提供的example data：

texts,offset_mapping全为空，怎么解决啊

如题 关系抽取等任务是否可以使用其他预训练模型

你好，我使用这个项目中提供的crf.sh跑实体识别，跑了大概8个epoch，p,r,f1都是0，使用的数据也是项目中提供的，换成span方式是正常的。另外，选择softmax或者cascade_crf方式时是不是只需要修改脚本中的TASK_NAME为对应的名称就行了，我修改之后报以下错误：
Traceback (most recent call last):
File "main.py", line 33, in
main()
File "main.py", line 27, in main
model.finetune(data_args)
File "/home/nlp_service/anaconda3/envs/uie/lib/python3.8/site-packages/litie/models/base.py", line 71, in finetune
self.engine = self.create_engine()
File "/home/nlp_service/anaconda3/envs/uie/lib/python3.8/site-packages/litie/models/ner.py", line 14, in create_engine
return NerEngine(
File "/home/nlp_service/anaconda3/envs/uie/lib/python3.8/site-packages/litie/engines/ner.py", line 24, in init
super().init(model_type, task_model_name, model_config_kwargs=model_config_kwargs, **kwargs)
File "/home/nlp_service/anaconda3/envs/uie/lib/python3.8/site-packages/litie/engines/base.py", line 80, in init
self.initialize_model(self.pretrained_model_name_or_path, config, model)
File "/home/nlp_service/anaconda3/envs/uie/lib/python3.8/site-packages/litie/engines/base.py", line 118, in initialize_model
model = self.get_auto_model(self.model_type, self.task_model_name)
File "/home/nlp_service/anaconda3/envs/uie/lib/python3.8/site-packages/litie/engines/ner.py", line 32, in get_auto_model
return AutoNerTaskModel.create(
File "/home/nlp_service/anaconda3/envs/uie/lib/python3.8/site-packages/litie/nn/ner/init.py", line 34, in create
return cls.registry[class_key](model_type, **kwargs)
TypeError: get_auto_cascade_crf_ner_model() got an unexpected keyword argument 'base_model'

苏神，请教下，我现在需要处理的序列是4096长度的，在bert上接入了efficient global pointer结构，26分类，结果非常慢，debug看了下有两个问题：

1. 内存大小从20G->75G, 设置如下：

self.global_pointer = EfficientGlobalPointer(
    768,
    self.num_labels,
    64,
    use_rope=True
)

2. 因为内部代码结构的问题，实现的是稠密loss

请问如果换做sparse矩阵加速会很多吗？在超长序列下EGP是否有效率问题？

如上，谢谢