internlm / agent-flan Goto Github PK

您好，想求一份Agent-flan的推理代码！
p.s 貌似模型中没有定义template中的special tokens比如这种，ി\n，不清楚推理中具体是怎么处理的。
以及template中好像没有定义Function的。

请问会开放训练代码吗，会支持基于书生20B的模型完成训练，并且在langent中上线使用嘛？

Congratulations on your new interesting work release: "Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models." It's always exciting to see new advancements that contribute to the agent research community!

We also want to share our previous released work https://github.com/SalesforceAIResearch/xLAM on Feb given the similarity of paper title and theme:

• AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning
• xLAM: A Large Action Model tailored for AI Agents

1. 文章中说"对于Agent-FLAN实验，我们遵循AgentTuning中的做法，将ShareGPT和Agent语料库以1:1的混合比例混合进行训练。"
   
   我注意到你们给出了数据集，想请教一下你们数据量和配比是什么呢？（包括flan版本和你们复现的agenttuning版本）（shareGPT应该就90000多条吧，你们是把这几个怎么混合（or过采样）到一样的呢？）
   2.想在了解一下超参数的问题，因为我看agenttuning有一些非常奇怪的超参数，您这里是直接使用deepspeed默认的超参数吗？（for example 10%的warmup，最大token是2048还是4096之类的）

文中提到 为了解决幻觉问题，构建了一些负样本。请问训练的时候这些负样本 的loss。是如何设计呢？