docker运行镜像cpu模式下，cpu的利用率最大只有1600%，如何提升？ about chatglm.cpp HOT 4 OPEN

环境变量num_threads可以设置线程数

from chatglm.cpp.

环境变量num_threads可以设置线程数

还请指教，num_threads 这个参数具体在哪里设置，感谢！

from chatglm.cpp.

环境变量num_threads可以设置线程数

还请指教，num_threads 这个参数具体在哪里设置，感谢！

docker run -it --rm -v $PWD:/opt -p 8000:8000 -e MODEL=/opt/chatglm-ggml.bin \
+   -e num_threads=64 \
    chatglm.cpp \
    uvicorn chatglm_cpp.openai_api:app --host 0.0.0.0 --port 8000

from chatglm.cpp.

环境变量num_threads可以设置线程数

还请指教，num_threads这个参数具体在哪里设置，谢谢！

开2个页面访问，一个正常输出，第二个等待；

一个正常输出

第二个页面等待，第一个结束，就正常输出了

你知道原因吗，难道单线程跑？我跑得是下面 chatglm6b-v3.1

from chatglm.cpp.