模型合并时报错 about pandallm HOT 7 CLOSED

是的，我们提供的HF格式的权重也是与原版权重的差值。需要你先下载LLaMA HF版本的权重，然后执行合并脚本。你可以转换成HF版本后再合并，然后再重新试一下推理是不是还有问题。

关于prompt我们没有使用特殊的格式，直接提问就可以，如果你想知道我们评测阅读理解时用的prompt可以去config文件里找一下对应数据集的class，prompt默认值被写在了class里。

我使用了llama hf的权重，使用llama-panda-zh-coig-7b-delta进行合并，报错'LlamaForCausalLM' object has no attribute 'embed_tokens'，在脚本昨天提交的fix处报错，transformers版本是最新的

from pandallm.

Hi, all

问题已经被修复了，现在测试过可以成功合并了，之前在embed_tokens前少了一个.model的前缀。请各位同学重新pull一下最新的修改再做尝试。如果推理测试的效果不好，可以把一些bad case另外开一个issue发上来。

感谢各位同学的关注！

from pandallm.

是的，我们提供的HF格式的权重也是与原版权重的差值。需要你先下载LLaMA HF版本的权重，然后执行合并脚本。你可以转换成HF版本后再合并，然后再重新试一下推理是不是还有问题。

关于prompt我们没有使用特殊的格式，直接提问就可以，如果你想知道我们评测阅读理解时用的prompt可以去config文件里找一下对应数据集的class，prompt默认值被写在了class里。

from pandallm.

我使用hf格式的llama合并也报了一样的错

from pandallm.

Hi, all

问题已经被修复了，现在测试过可以成功合并了，之前在embed_tokens前少了一个.model的前缀。请各位同学重新pull一下最新的修改再做尝试。如果推理测试的效果不好，可以把一些bad case另外开一个issue发上来。

感谢各位同学的关注！

修改完的确可以合并了，但之前有个问题又出了，size mismatch for model.embed_tokens.weight: copying a param with shape torch.Size([32001, 4096]) from
checkpoint, the shape in current model is torch.Size([32000, 4096]).
size mismatch for lm_head.weight: copying a param with shape torch.Size([32001, 4096]) from checkpoint, the
shape in current model is torch.Size([32000, 4096]).我看说之前已经fix了。

from pandallm.

现在可以了 可以再试试 我load过模型和跑过inference了都没什么问题了

Thanks！

from pandallm.

现在可以了 可以再试试 我load过模型和跑过inference了都没什么问题了

Thanks！

好嘞，可以了

from pandallm.