PLATO-KAG不需要三步训练了吗？ about knover HOT 6 CLOSED

PLATO-KAG 主要是为了知识对话，学习知识的选择以及利用知识辅助回复生成。它是基于 PLATO-2 第一阶段模型的预训练 UT 进行热启的，不涉及隐变量和评估任务。

from knover.

谢谢你的回复，今天跑了一下代码，基本了解训练和预测的过程了。有个疑问请教一下，推理生成对话tgt的输入是topic，knowledge和src，如何在大量的topic和knowledge中选择相关的作为输入呢？

from knover.

原来数据集本身有 knowledge 候选 和 topic，所以可以直接使用数据集本身自带的
如果是新场景下使用，可以参考各个数据集构造时的构造方式

from knover.

不好意思，我没有描述清楚我的问题。我不是说训练，我是说推理时如何得到topic和knowledge。比如我们部署一个训练好KAG模型后，机器人和人类聊天时，人类说的话作为src，但是作为模型的输入还需要src对应的topic和knowledge，如何得到他们呢？我想是否需要对src做NER，拿到命名实体作为topic呢？

from knover.

我理解你是想在部署的时候使用~
这个是可以参考如 WoW 数据集的构建，根据对话最后一轮用户、机器人的聊天内容用 TF-IDF 搜索相关 Wikipedia 文章。当然也可以使用NER 识别话题再通过其他方式关联到一些知识源

from knover.

谢谢，我打算做一个topic和knowledge的关联表，根据最后一轮对话用TF-IDF搜索相关topic，在选择几个knowledge。不过感觉效率会有问题，聊天时每句话让人等个几秒钟，机器人会有危险

from knover.