Code Monkey home page Code Monkey logo

modelbox's Introduction

ModelBox-统一AI应用开发框架

为AI应用的开发者提供一套统一的高性能、易用的编程框架,快速基于AI全栈服务、开发跨端边云的AI行业应用。

特性

  1. 与华为云集成
    与华为云的视频分析,语音处理业务,深度集成,使用AI开发更容易。

  2. 完全可编程
    更加易于定制化,能够实现AI的完全可编程。

  3. 支持广泛的AI深度学习框架
    开发人员可以运行多种学习框架,包括TensorFlow, Caffe。针对学习框架安装了高性能的推理引擎。

  4. 华为独有D芯片加速技术
    开发人员可以利用华为独有D芯片加速技术,更高效的运行深度学习任务。

  5. 一次开发,多场景运行
    开发人员只需要在HiStudio上开发后,可以将应用部署到端侧或云上。

  6. 多平台支持
    支持ubuntu,debian,centos,openwrt,andriod,iOS等主流系统。

高性能

  1. Pipeline模式并行:计算和数据读写并行、多算子执行并行
  2. 资源精细管理:统一管理显存、内存、线程。数据零拷贝、线程动态调节
  3. 深度融合推理引擎,异构计算设备(昇腾芯片和GPU)与主机CPU(ARM/x86)协同计算,充分利用异构计算设备算力
  4. 多模型融合推理,兼顾性能和精度
  5. 基于优先级的算力调度,兼顾吞吐量和时延
  6. 高性能预处理算子

全自动

  1. 全场景全栈性能监控:端边云全场景性能监控,应用、计算图和算子全栈性能监控
  2. 自动调优:性能瓶颈自动定位和自动优化、端边云负载自动均衡

全场景

  1. 异构:屏蔽异构,支持多种异构硬件(D/GPU/ARM/x86)
  2. 部署形态:支持端边云部署,以及端边云协同的分布式部署,端边云统一的总线连接,数据无缝交换
  3. 业务类型:支持图像、视频、语音、文本、NLP的各类型AI应用
  4. 框架轻量化,可以根据部署环境动态裁剪依赖库适配运行环境

易开发

  1. 开发效率高,丰富的算子库,推理应用编排式开发
  2. 端边云、单机和分布式应用开发体验一致,端边云应用无缝迁移
  3. 多模型类型支持,屏蔽模型差异
  4. 支持python、c++、java接口

高扩展

  1. 支持用户自定义新硬件,新推理引擎
  2. 支持用户自定义算子插件

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.