View Code? Open in Web Editor
NEW
This project forked from jinmin527/learning-cuda-trt
A large number of cuda/tensorrt cases . 大量案例来学习cuda/tensorrt
License: MIT License
Shell 0.18%
C++ 73.90%
Python 15.56%
C 2.65%
Objective-C 0.01%
Java 0.01%
Lua 0.01%
PowerShell 0.01%
CSS 0.01%
Cuda 0.86%
Makefile 0.20%
PureBasic 0.01%
HTML 0.34%
CMake 0.08%
Jupyter Notebook 6.13%
Cython 0.02%
Dockerfile 0.05%
Roff 0.01%
SWIG 0.01%
learning-cuda-trt's Introduction
- A large number of cuda/tensorrt cases
- 在这个project中，提供大量的cuda和tensorrt学习案例
- cuda驱动api
- cuda运行时api
- tensorRT基础入门
- tensorRT高阶应用
- 导出onnx，前后处理
- 具体项目为案例，掌握如何处理复杂情况
- CUDADriver、CUDARuntime、WarpAffine、cublas、Kernel、Stream、SharedMemory、Atomic
- YoloV5、YoloX、TensorRT-Plugin、TensorRT-ONNXParser
- YoloV5-OBB(旋转框)、AlphaPose(姿态检测)、InsightFace(人脸识别)、UNet(场景分割)、RetinaFace(人脸检测)
- HuggingFace-NER(NLP命名实体识别)、RoBERTa(中文文本分类)
- mmdetection(导出其中的yolox)
- self-driving(自动驾驶中部分感知技术)
- ONNX-Runtime、OpenVINO，RKNN，不同的CPU推理引擎
- LUA、PyBind11、HTTP-Server，不同的脚本语言调用封装
- Lane车道线检测、Ldrn单目深度估计、Road行驶区域分割
这是一个学习cuda、tensorrt的源代码案例项目
- 大量案例，从基础的cuda驱动api、运行时api到tensorrt的基础入门、tensorrt的高级进阶
- 模型的导出、模型的前后处理等等，多线程的封装等等
- 希望能够帮助你进一步掌握tensorRT
- 案例均使用makefile作为编译工具
- 在其中以
${@CUDA_HOME}此类带有@符号表示为特殊变量
- 替换此类特殊变量为你系统真实环境，即可顺利使用
- 大部分时候，配置完毕后，可以通过
make run实现编译运行
- 要求linux-ubuntu16.04以上系统，并配有GPU和显卡驱动大于495最佳
- 安装python包，
pip install trtpy -U -i https://pypi.org/simple
- 配置快捷方式，
echo alias trtpy=\"python -m trtpy\" >> ~/.bashrc
- 应用快捷方式：
source ~/.bashrc
- 配置key：
trtpy set-key sxaikiwik
- 获取并配置环境：
trtpy get-env --cuda=11
- 目前仅支持10和11，如果驱动版本不适配，会提示找不到适配的版本
- 自动改变配置变量：
trtpy prep-vars .，把当前目录下的所有变量都自行替换
- 即可运行
make run
learning-cuda-trt's People
Contributors
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent