[Bug] 显存不断重新加载 并且解码速度很慢 about opencompass HOT 9 CLOSED

感谢你的报告，我们后续会改进这里的体验。我们正在考虑优化一下小模型的切分方案，或者从根本上启动一个维护模型的进程，不用每个task都进行多次加载，释放。

from opencompass.

We recommend using English or English & Chinese for issues so that we could have broader discussion.

from opencompass.

好的 期待你们新的版本

from opencompass.

那再请问一下 我有什么设置可以加速这个模型的解码吗 目前看来八块a100要评测完一个小数据集合 还是会耗费大量的时间

from opencompass.

那再请问一下 我有什么设置可以加速这个模型的解码吗 目前看来八块a100要评测完一个小数据集合 还是会耗费大量的时间

这个一般都是模型本身以及huggingface需要考虑的问题，我们主要专注于评测部分

但是根据我们的经验，原生的llama会快于使用huggingface接口。

from opencompass.

我对huggingface解码不是特别了解 请问现在是八块卡分别加载完整的模型然后分隔数据集解码吗？ 是什么导致了模型频繁开辟申请呢 batchsize的设定是否生效 因为我观测到的解码速度和我之前单卡测llama-7b的速度相差很大

from opencompass.

请问现在是八块卡分别加载完整的模型然后分隔数据集解码吗？

是的，

是什么导致了模型频繁开辟申请呢 batchsize的设定是否生效

默认的任务切分参数主要考虑的 100+B模型的推理，就是task的分片太小，导致频繁实例化，加载，推理，释放。具体可参考size 调整一下分片大小。

batchsize 是生效的，但生成慢是因为 1. GPT 这类模型，预测 N 个次，就是要推理N次，生成任务就会慢。2. huggingface 的接口会慢于原生llama,这个需要查huggingface的代码看原因。
也有可能其他的问题导致，如果有条件，可以测试一下不用opencompass纯推理同样问题所需要的开销，进行一下对比。

如果你实验的有任何改进，希望反馈给我们，我们会进一步改进opencompass的用户体验。

from opencompass.

好的感谢

from opencompass.

Feel free to re-open this issue if needed.

from opencompass.