关于llama3base版本的评测 about llama-factory HOT 5 CLOSED

使用 fewshot 的 template 试一下，我的结果是
Average: 61.67
STEM: 48.18
Social Sciences: 74.15
Humanities: 55.64
Other: 70.67

from llama-factory.

使用 fewshot 的 template 试一下，我的结果是 Average: 61.67 STEM: 48.18 Social Sciences: 74.15 Humanities: 55.64 Other: 70.67

可以展示一下脚本文件吗

from llama-factory.

使用 fewshot 的 template 试一下，我的结果是 Average: 61.67 STEM: 48.18 Social Sciences: 74.15 Humanities: 55.64 Other: 70.67
也就是说如果我要测llama3base版本，就需要将--template这个参数设置为fewshot吗，instruct版本就是llama3？

from llama-factory.

python ./src/evaluate.py
--model_name_or_path /media/codingma/LLM/llama3/Meta-Llama-3-8B
--template fewshot
--task mmlu
--split validation
--lang en
--n_shot 5
--batch_size 4

from llama-factory.

python ./src/evaluate.py --model_name_or_path /media/codingma/LLM/llama3/Meta-Llama-3-8B --template fewshot --task mmlu --split validation --lang en --n_shot 5 --batch_size 4

非常感谢

from llama-factory.