llama.cpp main命令包含-ngl N 参数 chatglm.cpp 能否支持 CPU+GPU 混合处理 about chatglm.cpp HOT 3 OPEN

 void to_device() {

    	for(int i = 0;i < state_dict_.size();i++) {      
		    ggml_tensor *tensor = state_dict_[i].second;
			// should not place embedding onto device
			if (tensor != transformer.word_embeddings.weight) {
				    if(i <= 125) {// 此处i值为自己制定   需要根据自己的电脑多次修改
                        	                      tensor_to_device(tensor);//GPU加载部分
					}else {
                                                   tensor_to_cpu(tensor);//CPU加载部分
					}
			}
	}

    for (auto &layer : transformer.layers) {
        tensor_to_device(layer.attention.k_cache);
        tensor_to_device(layer.attention.v_cache);
    }
}