有没有关于此项目的微信交流群 about kantv HOT 3 CLOSED

你好有没有关于此项目的微信交流群

您好，谢谢关注此项目。

抱歉6月4号下午7点左右才看到。

目前没有微信交流群（未来应该也不会有）。

对项目感兴趣的开发人员，可以提交issue report或者code PR.目前有两个重点方向：
1.通过开源社区协同的方式，完全实现ggml推理框架的Qualcomm backend，有如下几个问题需要解决：

• 量化数据的处理，只需要处理add,mul,mulmat。参考资料：explanation of k-quants, ggerganov/llama.cpp#1684
• NPU backend的完整实现（先略过GPU backend），目前NPU后端的性能太差

2.改进ggml推理框架的推理性能：现在的ggml backend subsystem有改进的空间，尤其不少backend实际上是单线程执行推理。

如果没有疑问，此issue将会被关闭。如您有需要，未来也可以再打开。谢谢。

from kantv.

大牛，你接下来准备做onnxruntime+qnn的后端支持？

from kantv.

大牛，你接下来准备做onnxruntime+qnn的后端支持？

1.😂 AI初学者
2.onnxruntime的QNN后端貌似已经有了：https://github.com/microsoft/onnxruntime/tree/main/onnxruntime/core/providers/qnn 最近看了一眼，个人感觉封装的太多了，对个人而言没啥太大参考价值.我在做ggml的QNN后端时，最开始得到了高通一位工程师的指点，直接使用最原始的QNN API。后面基本是用逆向工程的方法做实验一步一步试验出来的，主要参考了如下资料：
(1) https://github.com/pytorch/executorch/tree/main/backends/qualcomm (provided by Qualcomm Technologies, Inc.)
(2) QNN samples (provided by Qualcomm Technologies, Inc.)
(3) /opt/qcom/aistack/qnn/2.20.0.240223/examples/Models/InceptionV3/model/Inception_v3.cpp which is
generated automatically by Qualcomm's dedicated tool and it contains more then 20,000 lines C++ code

from kantv.