[Bug] 评测 Hellaswag 失败 about opencompass HOT 2 OPEN

遇到了同样的问题...脚本如下

python run.py --datasets ceval_gen --hf-path /data/ptm/internlm2-chat-1_8b --tokenizer-path /data/ptm/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug

然后仔细研究报错发现huggingface_above_v4_33.py这个部分很神奇 打印了下opencompass/opencompass/tasks/openicl_infer.py里面73行的model_cfg，发现里面的type是opencompass.models.huggingface_above_v4_33.HuggingFacewithChatTemplate，不太理解为啥不是我指定的internlm2-chat-1_8b对应的模型

再仔细研究发现，错误在一个看起来不太重要的get_token_len函数，于是用它旁边的opencompass/opencompass/models/huggingface.py里面的get_token_len实现替换了，然后就跑通了...

不一定是正确解法，但能work 有官方解答或者更可信的方案的可以继续来回答下

老实讲感觉这个仓库 bug 挺多的...

from opencompass.

遇到了同样的问题...脚本如下

python run.py --datasets ceval_gen --hf-path /data/ptm/internlm2-chat-1_8b --tokenizer-path /data/ptm/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug

然后仔细研究报错发现huggingface_above_v4_33.py这个部分很神奇
打印了下opencompass/opencompass/tasks/openicl_infer.py里面73行的model_cfg，发现里面的type是opencompass.models.huggingface_above_v4_33.HuggingFacewithChatTemplate，不太理解为啥不是我指定的internlm2-chat-1_8b对应的模型

再仔细研究发现，错误在一个看起来不太重要的get_token_len函数，于是用它旁边的opencompass/opencompass/models/huggingface.py里面的get_token_len实现替换了，然后就跑通了...

不一定是正确解法，但能work
有官方解答或者更可信的方案的可以继续来回答下

from opencompass.