请求增加多gpu推理 about chatglm.cpp HOT 2 OPEN

不能多显卡，问题在于chatglm.cpp中，宏定义：
#ifdef GGML_USE_CUBLAS（出现两次，分别对应glm和glm2）中, tensor->backend = GGML_BACKEND_GPU;
这使ggml不会把模型split到多个设备上，将两处都改为
tensor->backend = GGML_BACKEND_GPU_SPLIT;
,则会使ggml根据设备显存和性能，将模型按比例split到多块设备上运行。

from chatglm.cpp.

最近版本更新了，现在似乎只有一处tensor->backend = GGML_BACKEND_GPU。我试着修改之后编译，之后运行一直报错。请问LZ有什么思路吗？谢谢啦

ggml_init_cublas: found 4 CUDA devices:
Device 0: Tesla M60, compute capability 5.2
Device 1: Tesla M60, compute capability 5.2
Device 2: Tesla M60, compute capability 5.2
Device 3: Tesla M60, compute capability 5.2
GGML_ASSERT: /home/xxs/chatglm.cpp/third_party/ggml/src/ggml-cuda.cu:6100: false
Aborted (core dumped)

from chatglm.cpp.