Code Monkey home page Code Monkey logo

dl_note's Introduction

项目概述

本仓库项目是个人总结的计算机视觉和大语言模型学习笔记,包含深度学习基础知识、神经网络基础部件详解、深度学习炼丹策略、深度学习模型压缩算法、深度学习推理框架代码解析及动手实战,以及 LLM 基础及推理优化的专栏笔记。

一,数学基础专栏

二,神经网络基础部件

1,神经网络基础部件

  1. 神经网络基础部件-卷积层详解
  2. 神经网络基础部件-BN 层详解
  3. 神经网络基础部件-激活函数详解

2,深度学习基础

三,深度学习炼丹

  1. 深度学习炼丹-数据标准化
  2. 深度学习炼丹-数据增强
  3. 深度学习炼丹-不平衡样本的处理
  4. 深度学习炼丹-超参数设定
  5. 深度学习炼丹-正则化策略

四,深度学习模型压缩

  1. 深度学习模型压缩算法综述
  2. 模型压缩-轻量化网络设计与部署总结
  3. 模型压缩-剪枝算法详解
  4. 模型压缩-知识蒸馏详解
  5. 模型压缩-量化算法详解

五,模型推理部署

1,模型部署:

2,模型推理:

3,ncnn 框架源码解析:

5,AI/NPU/GPU 芯片特性

六,异构计算

  1. 移动端异构计算:neon 编程
  2. GPU 端异构计算:cuda 编程

通用矩阵乘法 gemm 算法解析与优化、neoncuda 编程等内容,以及 ncnn 框架代码解析总结。

七,大语言模型推理及服务化

1,LLM 基础知识

2,Transformer 模型基础

3,大规模模型的推理优化及部署总结:

4,DeepSpeed 框架学习笔记

八,进阶课程

1,推荐几个比较好的深度学习模型压缩与加速的仓库和课程资料:

  1. 神经网络基本原理教程
  2. AI-System: 深度学习系统,主要从底层方向讲解深度学习系统等原理、加速方法、矩阵成乘加计算等。
  3. pytorch-deep-learning:很好的 pytorch 深度学习教程。

2,一些笔记好的博客链接:

九,其他

最后,持续高质量创作不易,有 5 秒空闲时间的,可以扫码关注我的公众号-嵌入式视觉,记录 CV 算法工程师成长之路,分享技术总结、读书笔记和个人感悟。

公众号不会写标题党文章,也不输出给大家带来的焦虑的内容!

qcode

Star History

Star History Chart

参考资料

dl_note's People

Contributors

harleyszhang avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.