BERT在大规模数据集上运行报错 about deepke HOT 10 CLOSED

你好，先说下预处理为什么会错误的原因，也是我自己碰到的问题。
pcnn 做max pool时需要按照两个实体位置分割成三段，问题出在分三段的方式。
比如一个句子简单的为：杭州西湖，里面有两个实体词语 杭州和西湖。pcnn无论怎么分割都无法分成三段。原文方法是分成：{…e1，(e1 e2之间所有词语)，e2…}。
一开始为了让中间部分有词，就把e1或者e2归到中间了，但是又存在e1可能是句子的第一个词或者e2是句子的最后一个词。所以batch预处理无解…
另外还有一种句型如：南京南站，h是南京，t是南京南站，两个实体之间有重复，这种也很难处理…

再说下你报错的地方，是valid时x输入和model的cuda不一致，是不是模型在gpu上，但是测试你想换到cpu测试。

from deepke.

理解了，多谢多谢，这些有问题的数据应该已经被我过滤掉了

from deepke.

第二个问题是我在训练BERT模型的时候出现的，使用显卡训练的，猜测可能是之前训练过了其他模型在这里面默认读取了，我会等其他模型训练好了移除checkpoint文件再试试

from deepke.

。
你好，可方便共享重构的数据集哇，万分感谢

from deepke.

这里可以下载重构之前的数据哈，重构其实就是把这个数据拆分一下做成这个项目需要的csv格式

from deepke.

这个数据好像缺少实体到关系的距离这两项，请问这个可以忽略吗

from deepke.

如果你的语料中实体词语不重复，是可以的。
或者你在预处理中先把head tail替换成特殊标记，如：[head] [tail]也可以。
当然如果不在预处理中替换实体词为实体类别，不使用pcnn（按照实体词分段池化），其他的如rnn，capsule，gcn也不需要 entity_offset的信息。

from deepke.

你好，我重构了百度的数据集，重构后大概又30多w条。其中某些数据在其他模型预处理的时候会报错，但舍弃这些数据后最终跑通了，但是BERT模型遇到了如下问题，看上去应该是维度不太匹配，想请教一下问题可能会出在哪里，谢谢
>, TensorInfo<T, IndexType>, TensorInfo<long, IndexType>, int, int, IndexType, IndexType, long) [with T = float, IndexType = unsigned int, DstDim = 2, SrcDim = 2, IdxDim = -2, IndexIsMajor = true]: block: [195,0,0], thread: [31,0,0] AssertionsrcIndex < srcSelectDimSize failed. Traceback (most recent call last): File "main.py", line 82, in <module> macro_f1, micro_f1 = validate(test_dataloader, model, device, config) File "/home/***/deepke/deepke/trainer.py", line 53, in validate x = [i.to(device) for i in x] File "/home/***/deepke/deepke/trainer.py", line 53, in <listcomp> x = [i.to(device) for i in x] RuntimeError: CUDA error: device-side assert triggered
您好,请问您问题解决了吗
我也重构了百度数据集,但是有点问题无法解决.
请问您方便分享一下您重构后的数据集吗
我的邮箱是[email protected]
感谢

from deepke.

你好，方便问一下您在百度数据集上跑出来的结果如何吗，我这边跑的结果有点一言难尽

from deepke.

我的结果还不错，用双向LSTM f1在90以上，后来又构建了1/5的负例，结果也还可以

from deepke.