使用 qwen2 7b int8 在 webui 中 chat 时所有的回答都是乱码 about llama-factory HOT 7 CLOSED

你使用qwen2 7b-chat试过吗，这种可以推理回答吗

from llama-factory.

我估计应该是LLM模型本身的问题，现在就可以运行了，感谢！！！

from llama-factory.

我之前尝试了llama-8b的一个中文模型，也是乱码，换个模型或者换个下载的途径。

from llama-factory.

我估计应该是LLM模型本身的问题，现在就可以运行了，感谢!!

哎，这个模型是直接从modelscope 上下载的嘛？

from llama-factory.

我的qwen2 7b instruct也是乱码，modelscope和huggingface上的sha256一模一样，不知道哪里有问题。

from llama-factory.

保证模型文件与 https://huggingface.co/Qwen/Qwen2-7B-Instruct 一致

from llama-factory.

保证模型文件与 https://huggingface.co/Qwen/Qwen2-7B-Instruct 一致

谢谢提示~但是我从 HuggingFace 直接进行了下载，SHA256也保持一致，但是它依然会输出乱码。
后续尝试中我使用了未经量化的模型（qwen2 7b instruct），它就变得正常了，但是只要是量化模型它就会出现这种乱码情况qwen1.5 7b int8 和 qwen2 7b int8 ）
感觉这和模型没有关系，而是和使用量化有关系

from llama-factory.