lables、tokens长度不一致 about albert-chinese-ner HOT 3 CLOSED

输入如下。猜测可能是因为不支持“김 O
제 O
휘 O
、 O
”韩文。。。没想到语料里面居然有韩文。。

集 O
聚 O
有 O
名 O
作 O
曲 O
家 O
作 O
词 O
人 O
， O
钟 B
大 I
初 I
s B
o I
l I
o I
专 I
《 O
四 B
月 I
， I
花 I
》 O
期 O
待 O
感 O
倍 O
增 O
！ O
。 O
2 O
5 O
日 O
晚 O
， O
e O
x O
o O
官 O
博 O
再 O
公 O
开 O
钟 O
大 O
新 O
一 O
版 O
预 O
告 O
照 O
， O
身 O
着 O
白 O
色 O
西 O
装 O
中 O
空 O
上 O
阵 O
， O
置 O
身 O
生 O
机 O
勃 O
勃 O
的 O
绿 O
色 O
中 O
， O
沐 O
浴 O
大 O
自 O
然 O
的 O
恩 O
泽 O
， O
人 O
间 O
四 O
月 O
天 O
便 O
是 O
钟 O
大 O
！ O
另 O
外 O
， O
本 O
张 O
专 O
辑 O
最 O
值 O
得 O
一 O
说 O
的 O
还 O
有 O
制 O
作 O
人 O
阵 O
容 O
， O
除 O
了 O
钟 O
大 O
参 O
与 O
到 O
专 O
辑 O
的 O
作 O
词 O
， O
还 O
力 O
邀 O
h O
i O
t O
曲 O
制 O
作 O
人 O
k O
e O
n O
z O
i O
e O
、 O
实 O
力 O
派 O
作 O
曲 O
家 O
김 O
제 O
휘 O
、 O
唱 O
作 O
人 O
p O
a O
u O
l O
k O
i O
m O
等 O
加 O
盟 O
， O
曾 O
创 O
作 O
《 O
1 O
2 O
月 O
的 O
奇 O
迹 O
》 O
海 O
外 O
作 O
曲 O
家 O
a O
n O
d O
r O
e O
a O
s O
s O
t O
o O
n O
e O
、 O
j O
o O
h O
a O
n O
s O
s O
o O
n O
和 O
r O
i O
c O
k O
y O
h O
a O
n O
l O
e O
y O
也 O
参 O
与 O
了 O
专 O
辑 O
的 O
制 O
作 O
， O
极 O
大 O
的 O
提 O
高 O
了 O
专 O
辑 O
的 O
完 O
成 O
度 O
。 O
另 O
外 O
， O
钟 B
大 I
初 I
s B
o I
l I
o I
专 I
《 O
四 B
月 I
， I
花 I
》 O
将 O
于 O
4 O
月 O
1 O
日 O
5 O
点 O
（ O
北 O
京 O
时 O
间 O
） O
通 O
过 O
各 O
大 O
音 O
源 O
网 O
站 O
公 O
开 O
， O
敬 O
请 O
期 O
待 O
！ O
下 O
载 O
「 O
爱 O
豆 O
a O
p O
p O
」 O
了 O
解 O
偶 O
像 O
的 O
最 O
新 O
动 O
态 O
下 O
载 O
「 O
爱 O
豆 O
a O
p O
p O
」 O
了 O
解 O
偶 O
像 O
的 O
最 O
新 O
动 O
态 O

from albert-chinese-ner.

你解决了吗？我也遇到这个问题，但是我里面都是中文

from albert-chinese-ner.

我也遇到了，因为会把韩文按偏旁拆开，我直接把韩文删除了再处理的

from albert-chinese-ner.