transformers>=4.34.0 时 无法转换 codegeex2-6b about chatglm.cpp HOT 5 CLOSED

并没有复现这个报错，我看 Hugging Face 上 codegeex2-6b 的 tokenization_chatglm.py#L73，是有 self.tokenizer 这个成员的，可以检查一下你本地的 /home/l8ng/.cache/huggingface/modules/transformers_modules/codegeex2-6b/tokenization_chatglm.py 跟官方的代码是否有区别？

from chatglm.cpp.

刚刚发现chatglm3在5天前更新了tokenization_chatglm.py，替换掉原来下载的这个文件可以兼容高版本的transformers了。

from chatglm.cpp.

并没有复现这个报错，我看 Hugging Face 上 codegeex2-6b 的 tokenization_chatglm.py#L73，是有 self.tokenizer 这个成员的，可以检查一下你本地的 /home/l8ng/.cache/huggingface/modules/transformers_modules/codegeex2-6b/tokenization_chatglm.py 跟官方的代码是否有区别？

嗯嗯 对比文件是一样的代码, 然后尝试降级下 transformers==4.33.3 (4.35.x, 4.34.x都不行) 后可以转换了... 问题应该不是这个, 可能是上游改了什么东西没来的及适配? 你看下你环境的版本是不是低于 4.34.x, 或许在README下标注下会好一些~

ref: chatchat-space/Langchain-Chatchat#1835 (comment)

不管怎样, 这个问题暂时解决了, 谢谢作者回复哈~

from chatglm.cpp.

vllm 0.2.2解决了vllm-project/vllm#1713 这个问题
但是vllm-0.2.2要求transformers版本高于4.34.0 而像 @StrayDragon 所提transformers版本高于4.33.3就不可以了

感觉如果想要复现这个错误只需要把transformers升到最高版本（比如4.36.0

现在如果想用vllm加速推理chatglm2的话感觉还是得自己根据文档改一下，不知道是否后续有解决方案吗

from chatglm.cpp.

刚刚发现chatglm3在5天前更新了tokenization_chatglm.py，替换掉原来下载的这个文件可以兼容高版本的transformers了。

cool, 感谢提醒, 我回去试试~

from chatglm.cpp.