为AI应用的开发者提供一套统一的高性能、易用的编程框架,快速基于AI全栈服务、开发跨端边云的AI行业应用。
-
与华为云集成
与华为云的视频分析,语音处理业务,深度集成,使用AI开发更容易。 -
完全可编程
更加易于定制化,能够实现AI的完全可编程。 -
支持广泛的AI深度学习框架
开发人员可以运行多种学习框架,包括TensorFlow, Caffe。针对学习框架安装了高性能的推理引擎。 -
华为独有D芯片加速技术
开发人员可以利用华为独有D芯片加速技术,更高效的运行深度学习任务。 -
一次开发,多场景运行
开发人员只需要在HiStudio上开发后,可以将应用部署到端侧或云上。 -
多平台支持
支持ubuntu,debian,centos,openwrt,andriod,iOS等主流系统。
- Pipeline模式并行:计算和数据读写并行、多算子执行并行
- 资源精细管理:统一管理显存、内存、线程。数据零拷贝、线程动态调节
- 深度融合推理引擎,异构计算设备(昇腾芯片和GPU)与主机CPU(ARM/x86)协同计算,充分利用异构计算设备算力
- 多模型融合推理,兼顾性能和精度
- 基于优先级的算力调度,兼顾吞吐量和时延
- 高性能预处理算子
- 全场景全栈性能监控:端边云全场景性能监控,应用、计算图和算子全栈性能监控
- 自动调优:性能瓶颈自动定位和自动优化、端边云负载自动均衡
- 异构:屏蔽异构,支持多种异构硬件(D/GPU/ARM/x86)
- 部署形态:支持端边云部署,以及端边云协同的分布式部署,端边云统一的总线连接,数据无缝交换
- 业务类型:支持图像、视频、语音、文本、NLP的各类型AI应用
- 框架轻量化,可以根据部署环境动态裁剪依赖库适配运行环境
- 开发效率高,丰富的算子库,推理应用编排式开发
- 端边云、单机和分布式应用开发体验一致,端边云应用无缝迁移
- 多模型类型支持,屏蔽模型差异
- 支持python、c++、java接口
- 支持用户自定义新硬件,新推理引擎
- 支持用户自定义算子插件