模型对预训练数据集拟合效果很差 about zero_nlp HOT 6 OPEN

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接#39

from zero_nlp.

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接大佬修改名称有什么经验呢 #39

为啥要训练这么多次lora技术不是用来拟合小样本的吗

from zero_nlp.

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接大佬修改名称有什么经验呢 #39

你是谁？我是良睦路程序训练的一个AI模型 23423421，，这后面的数字表达的是啥意思。。
你是指的这个吗，比如问你是谁，换成了 ：我是良睦路程序训练的一个AI模型

from zero_nlp.

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接大佬修改名称有什么经验呢 #39

按照这个方法训练，模型可以回答“你是不是由良木路程序员开发的模型”，但问它“你是谁”或“你叫什么名字”的时候还是回答是chatglm

from zero_nlp.

https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning官方微调方案

from zero_nlp.

请问大佬 你的epoch是多少呀？ 你的alldata最后是多少条呢

from zero_nlp.