Comments (5)
你好,我发现K-bert目前的entity linking的方式比较直接,并不会对有多种含义的实体进行区别,在实际使用过程中这往往会带来噪声,特别是一些大的知识库,有高频词带低频标签的情况。
比如用到过一个百科知识库里,有 舒适 → 作家名 这样的实体映射,也有大量一词多义的现象,单纯从word matching选择实体很容易将大量的噪声带入。
在实际使用中我发现特别是inference过程,大量是因为这类噪声知识的引入,反而让模型错判。1 针对目前直接查表的entity linking,请问有没有合适的降噪思路?
2 我看到作者提到“知识驱动”型任务,在微观层面是对每个识别的实体判断是否需要引入知识,请问这方面有没有什么思路或者可以借鉴的前沿研究可以参考?
比如早年比较火的attention机制,有没有可能引入类似selective attention的方法,来判断实体是否应该挂载知识以及挂载哪个知识,这类思路和k-bert的知识挂载方式有没有结合点?
你好,正如你所说,在entity linking中因一词多义等原因引入的噪声是一个亟待解决的问题。如你所说,使用attention机制给每个候选entity打分是一个方法,目前我们还在尝试,不久将会推出K-BERT2.0,将会比当前版本的K-BERT鲁棒性更好,欢迎关注哈。
from k-bert.
你好,我发现K-bert目前的entity linking的方式比较直接,并不会对有多种含义的实体进行区别,在实际使用过程中这往往会带来噪声,特别是一些大的知识库,有高频词带低频标签的情况。
比如用到过一个百科知识库里,有 舒适 → 作家名 这样的实体映射,也有大量一词多义的现象,单纯从word matching选择实体很容易将大量的噪声带入。
在实际使用中我发现特别是inference过程,大量是因为这类噪声知识的引入,反而让模型错判。
1 针对目前直接查表的entity linking,请问有没有合适的降噪思路?
2 我看到作者提到“知识驱动”型任务,在微观层面是对每个识别的实体判断是否需要引入知识,请问这方面有没有什么思路或者可以借鉴的前沿研究可以参考?
比如早年比较火的attention机制,有没有可能引入类似selective attention的方法,来判断实体是否应该挂载知识以及挂载哪个知识,这类思路和k-bert的知识挂载方式有没有结合点?你好,正如你所说,在entity linking中因一词多义等原因引入的噪声是一个亟待解决的问题。如你所说,使用attention机制给每个候选entity打分是一个方法,目前我们还在尝试,不久将会推出K-BERT2.0,将会比当前版本的K-BERT鲁棒性更好,欢迎关注哈。
您好,我想最近沿着您的Kbert在1.具有不同实体名的相同实体识别(目前kbert还是基于分词,字符级别上匹配实体)2.具有多关系的实体,不能主动选择插入具有帮助性的三元组 两个问题上做一些改进,不知道会和您的Kbert2.0冲突吗?谢谢
from k-bert.
你好,我发现K-bert目前的entity linking的方式比较直接,并不会对有多种含义的实体进行区别,在实际使用过程中这往往会带来噪声,特别是一些大的知识库,有高频词带低频标签的情况。
比如用到过一个百科知识库里,有 舒适 → 作家名 这样的实体映射,也有大量一词多义的现象,单纯从word matching选择实体很容易将大量的噪声带入。
在实际使用中我发现特别是inference过程,大量是因为这类噪声知识的引入,反而让模型错判。
1 针对目前直接查表的entity linking,请问有没有合适的降噪思路?
2 我看到作者提到“知识驱动”型任务,在微观层面是对每个识别的实体判断是否需要引入知识,请问这方面有没有什么思路或者可以借鉴的前沿研究可以参考?
比如早年比较火的attention机制,有没有可能引入类似selective attention的方法,来判断实体是否应该挂载知识以及挂载哪个知识,这类思路和k-bert的知识挂载方式有没有结合点?你好,正如你所说,在entity linking中因一词多义等原因引入的噪声是一个亟待解决的问题。如你所说,使用attention机制给每个候选entity打分是一个方法,目前我们还在尝试,不久将会推出K-BERT2.0,将会比当前版本的K-BERT鲁棒性更好,欢迎关注哈。
您好,我想最近沿着您的Kbert在1.具有不同实体名的相同实体识别(目前kbert还是基于分词,字符级别上匹配实体)2.具有多关系的实体,不能主动选择插入具有帮助性的三元组 两个问题上做一些改进,不知道会和您的Kbert2.0冲突吗?谢谢
不会冲突哈,就算思路接近,实现细节也会不同。欢迎一起努力将结构化知识注入到NLP模型中,一起把这个方向做的更完善。
from k-bert.
你好,我发现K-bert目前的entity linking的方式比较直接,并不会对有多种含义的实体进行区别,在实际使用过程中这往往会带来噪声,特别是一些大的知识库,有高频词带低频标签的情况。
比如用到过一个百科知识库里,有 舒适 → 作家名 这样的实体映射,也有大量一词多义的现象,单纯从word matching选择实体很容易将大量的噪声带入。
在实际使用中我发现特别是inference过程,大量是因为这类噪声知识的引入,反而让模型错判。
1 针对目前直接查表的entity linking,请问有没有合适的降噪思路?
2 我看到作者提到“知识驱动”型任务,在微观层面是对每个识别的实体判断是否需要引入知识,请问这方面有没有什么思路或者可以借鉴的前沿研究可以参考?
比如早年比较火的attention机制,有没有可能引入类似selective attention的方法,来判断实体是否应该挂载知识以及挂载哪个知识,这类思路和k-bert的知识挂载方式有没有结合点?你好,正如你所说,在entity linking中因一词多义等原因引入的噪声是一个亟待解决的问题。如你所说,使用attention机制给每个候选entity打分是一个方法,目前我们还在尝试,不久将会推出K-BERT2.0,将会比当前版本的K-BERT鲁棒性更好,欢迎关注哈。
您好,我想最近沿着您的Kbert在1.具有不同实体名的相同实体识别(目前kbert还是基于分词,字符级别上匹配实体)2.具有多关系的实体,不能主动选择插入具有帮助性的三元组 两个问题上做一些改进,不知道会和您的Kbert2.0冲突吗?谢谢
不会冲突哈,就算思路接近,实现细节也会不同。欢迎一起努力将结构化知识注入到NLP模型中,一起把这个方向做的更完善。
好的谢谢~
from k-bert.
你好,我发现K-bert目前的entity linking的方式比较直接,并不会对有多种含义的实体进行区别,在实际使用过程中这往往会带来噪声,特别是一些大的知识库,有高频词带低频标签的情况。
比如用到过一个百科知识库里,有 舒适 → 作家名 这样的实体映射,也有大量一词多义的现象,单纯从word matching选择实体很容易将大量的噪声带入。
在实际使用中我发现特别是inference过程,大量是因为这类噪声知识的引入,反而让模型错判。
1 针对目前直接查表的entity linking,请问有没有合适的降噪思路?
2 我看到作者提到“知识驱动”型任务,在微观层面是对每个识别的实体判断是否需要引入知识,请问这方面有没有什么思路或者可以借鉴的前沿研究可以参考?
比如早年比较火的attention机制,有没有可能引入类似selective attention的方法,来判断实体是否应该挂载知识以及挂载哪个知识,这类思路和k-bert的知识挂载方式有没有结合点?你好,正如你所说,在entity linking中因一词多义等原因引入的噪声是一个亟待解决的问题。如你所说,使用attention机制给每个候选entity打分是一个方法,目前我们还在尝试,不久将会推出K-BERT2.0,将会比当前版本的K-BERT鲁棒性更好,欢迎关注哈。
谢谢,期待k-bert2.0
from k-bert.
Related Issues (20)
- MAX_ENTITIES = 2 HOT 1
- QA代码 HOT 1
- 预训练模型 HOT 1
- NER标签还原实体问题 HOT 4
- 复现问题 HOT 4
- 生成类任务 HOT 1
- 有关预训练
- 有关QA任务,可以用作基于阅读理解的问答吗?
- 巢狀NER問題
- 能否用于英文任务?是否需要更换tokenizer? HOT 1
- 是否可以多分类 HOT 4
- pre-training corpus
- 关于更换基础模型的问题
- I modified some code of K-BERT so that it can be fit to English datasets
- Where is the -inf condition being enforced ?
- ZeroDivisionError: division by zero HOT 2
- 根据垂直领域知识图谱微调k-bert
- 关于论文中K_Query以及K_Inject方法的疑问
- 关于三元组影响NER HOT 1
- K-BERT vs BERT Comparison ?
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from k-bert.