Comments (8)
嗨您好,抱歉回复晚了。
- instance是指事件实例级的评价,即最终结果中必须所有事件元素全对才算一个TP
- adj_mat是指邻接矩阵
- connection是指剪枝完全图中连接边的评价情况
- trigger是指伪触发词的识别情况
- rawCombination是指PTPCG中在经过角色分类前使用BK算法抽出组合的评价情况
- combination是指PTPCG中经过角色分类后新的组合评价结果(一部分论元在分类时会被筛选掉,所以combination的结果会比rawCombination的结果高)
from docee.
感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看,是不是存在这样的现象:模型目前还是难以直接准确学习到实体之间connection的关系,从而会导致邻接矩阵整体的预测不是很理想,进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。
from docee.
感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看,是不是存在这样的现象:模型目前还是难以直接准确学习到实体之间connection的关系,从而会导致邻接矩阵整体的预测不是很理想,进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。
是的,您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1(自动确定伪触发词数量),那么可以看到一个明显的trade-off现象,|R|在为3时结果最好,或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下|R|=1的水平。
我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上,以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图,且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好,但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右,可以让更多的研究者参与进来,大家可以在现在框架的基础上进行改进,从而让篇章事件抽取这个小社区整体受益。
from docee.
感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看,是不是存在这样的现象:模型目前还是难以直接准确学习到实体之间connection的关系,从而会导致邻接矩阵整体的预测不是很理想,进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。
是的,您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1(自动确定伪触发词数量),那么可以看到一个明显的trade-off现象,|R|在为3时结果最好,或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下|R|=1的水平。 我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上,以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图,且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好,但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右,可以让更多的研究者参与进来,大家可以在现在框架的基础上进行改进,从而让篇章事件抽取这个小社区整体受益。
以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图,且不一定符合直觉。强人工定义的关系图有点没理解,是给定之前t-1时刻的角色类型所选定的实体与当前t时刻的角色类型需要选定的实体之间的关系吗?
from docee.
感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看,是不是存在这样的现象:模型目前还是难以直接准确学习到实体之间connection的关系,从而会导致邻接矩阵整体的预测不是很理想,进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。
是的,您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1(自动确定伪触发词数量),那么可以看到一个明显的trade-off现象,|R|在为3时结果最好,或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下|R|=1的水平。 我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上,以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图,且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好,但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右,可以让更多的研究者参与进来,大家可以在现在框架的基础上进行改进,从而让篇章事件抽取这个小社区整体受益。
以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图,且不一定符合直觉。强人工定义的关系图有点没理解,是给定之前t-1时刻的角色类型所选定的实体与当前t时刻的角色类型需要选定的实体之间的关系吗?
嗯是的,就是他们论文中对EDAG的定义。也可以看Doc2EDAG中论文的例子或PTPCG附录的图V.1
from docee.
感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看,是不是存在这样的现象:模型目前还是难以直接准确学习到实体之间connection的关系,从而会导致邻接矩阵整体的预测不是很理想,进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。
是的,您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1(自动确定伪触发词数量),那么可以看到一个明显的trade-off现象,|R|在为3时结果最好,或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下|R|=1的水平。 我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上,以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图,且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好,但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右,可以让更多的研究者参与进来,大家可以在现在框架的基础上进行改进,从而让篇章事件抽取这个小社区整体受益。
以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图,且不一定符合直觉。强人工定义的关系图有点没理解,是给定之前t-1时刻的角色类型所选定的实体与当前t时刻的角色类型需要选定的实体之间的关系吗?
嗯是的,就是他们论文中对EDAG的定义。也可以看Doc2EDAG中论文的例子或PTPCG附录的图V.1
懂了,感谢~
from docee.
您好,我十分认可您对于instance评价指标的说明,但是和程序似乎有些出入。
具体的代码是在这里,代码中把事件记录转成了出现论元的集合,然后使用集合操作计算这些论元的共现情况来得到TP/FP/FN值。这样做还是使用了论元粒度而非事件记录实例的粒度,并且在论元为空的情况没有作比较。
当然,这对最终的影响似乎不大哈哈~
from docee.
您好,我十分认可您对于instance评价指标的说明,但是和程序似乎有些出入。 具体的代码是在这里,代码中把事件记录转成了出现论元的集合,然后使用集合操作计算这些论元的共现情况来得到TP/FP/FN值。这样做还是使用了论元粒度而非事件记录实例的粒度,并且在论元为空的情况没有作比较。 当然,这对最终的影响似乎不大哈哈~
嗯嗯,您说的没错。完全事件记录实例的指标要考虑类别。可以把这个函数稍微变化一下,加一个事件类别。具体需要修改 这里 的这个函数。
from docee.
Related Issues (20)
- 实验结果 HOT 4
- 相似度的一些问题 HOT 8
- 分布式训练 HOT 3
- importance分数 HOT 15
- deppn模型F1只有33 HOT 2
- "pred_results"中的classification得分 HOT 25
- 分句 (uncommon sentence cutoff in DuEE-fin) HOT 14
- Duee_Fin预测结果 HOT 2
- 测试集结果 HOT 2
- 单事件&多事件 HOT 3
- Greedy-Dec模型如何运行? HOT 6
- Evaluation Metric HOT 11
- similarity calculation HOT 1
- pretrained model weight HOT 1
- 多事件 HOT 1
- 使用o2m格式的数据时,需要修改那些代码呢 HOT 1
- Potential performance issue: plotting slow in matplotlib == 3.3.0 HOT 1
- 请问老师怎么在自己的数据集上进行训练呢? HOT 14
- 关于ptpcg论文的一些问题 HOT 4
- 论文中的一个问题 HOT 3
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from docee.