ChatGLM3的lora微调问题 about self-llm HOT 9 CLOSED

请问用的是repo里面的数据吗？还是自己的数据？

from self-llm.

用的repo嬛嬛那个数据集

from self-llm.

您好，我这边刚拉下来跑完，没有出现问题:

LoRa微调本身就是不保存权重的，它只保存lora微调的部分，加载的时候需要peft进行二者一起加载，细节可参考同目录下的md文件:

from self-llm.

我之前都是在notebook里面跑的 现在跑的py文件还是一样呢

from self-llm.

你应该是前面的某一步搞错了，我们这边复现的结果loss是逐步下降的。请检查你之前的步骤。

from self-llm.

我也遇到了一样的问题，按照文档跑的，loss 没有下降

from self-llm.

我出现了跟楼主一样的问题，也是loss变成了0.0，也没有生成模型文件

from self-llm.

将 peft 降级至 0.6.2 可以解决问题

from self-llm.

你好请问一下你训练完之后是如何保存lora的权重到本地的？

llm = AutoModelForCausalLM.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).cuda()
model = get_peft_model(llm, lora_config).cuda()
model.save_pretrained("trained_lora_weights")

请问是使用类似上述的代码保存的吗？我这么写有问题吗？为什么无法保存lora权重到本地？

from self-llm.