lora微调后的模型部署 about chatglm.cpp HOT 5 OPEN

合并 lora 权重后可以先尝试 pytorch 加载起来推理，看看结果是否符合预期？

from chatglm.cpp.

合并 lora 权重后可以先尝试 pytorch 加载起来推理，看看结果是否符合预期？

结果是符合预期的，我用的是chatglm3

from chatglm.cpp.

合并lora权重后可以先尝试pytorch加载起来推理，看看结果是否符合预期？

我是通过LLama_factory这个项目来lora训练的，并且导出来了合并模型，用pytorch推理符合预期。使用chatglmcpp将其转换成q4_0模型，结果微调全部消失，是模型的量化问题还是我的训练问题呢？

from chatglm.cpp.

合并lora权重后可以先尝试pytorch加载起来推理，看看结果是否符合预期？

我是通过LLama_factory这个项目来lora训练的，并且导出来了合并模型，用pytorch推理符合预期。使用chatglmcpp将其转换成q4_0模型，结果导致全部消失，是模型的量化问题还是我的训练问题呢？

我也遇到了这个问题，请问你解决没

from chatglm.cpp.

我也有这个问题，-l 不起效。另外先在pytorch里面合并微调后的模型再转换得到的效果会很差，转换的过程中提示：Some weights of the model checkpoint at /opt/model_all_lora_0824/ were not used when initializing ChatGLMForConditionalGeneration: ['lm_head.weight']

• This IS expected if you are initializing ChatGLMForConditionalGeneration from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
• This IS NOT expected if you are initializing ChatGLMForConditionalGeneration from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).

from chatglm.cpp.