深度学习基础Github

欢迎来到深度学习基础教程。本教程面向所有深度学习爱好者/学生/求职人员/算法工程师新手，希望能从深度学习数学知识、深度学习模型基础、深度学习应用等三个方面对深度学习相关内容进行总结学习。

笔者在自学深度学习的过程中，发现大部分教程、资料对于深度学习所涉及的数学知识、实践操作讲解并不能让自己完全理解，所以在学习了李沐老师的《动手学深度学习》、斯坦福cs224n、斯坦福231n等各个经典课程之后，笔者将学习过程进行总结，也算是对自己知识体系的一个梳理。

希望读者在看完本教程之后，能基于高中数学/大学本科一年级数学基础知识和简单的Python编程知识来对深度学习知识进行扎实学习和应用。

本教程做为交流学习使用，整理了众多资料，由于自己精力有限，暂时无法对所有内容进行重写和图片自创. 本教程参考了北京理工大学毛京中老师的《高等数学》、李沐老师的《动手学深度学习》、斯坦福cs231n、斯坦福224n、各知乎精华问答、各大牛博客知识，如果涉及侵权请联系我删除，谢谢！

如果您在文章中发现错误之处，请帮忙在github提交issue/request，我将及时进行修正，谢谢！

• 深度学习数学基础从标量、向量、矩阵、张量讲起，然后逐步展开求导、偏导、方向导数、梯度，最后对单层神经网络进行了求梯度演示。
• 深度学习模型基础希望能够对常用的模型结构（transformer、lstm、cnn、mlp）进行通俗易懂的讲解。
• 深度学习应用希望能为常见的深度学习任务提供详细的例子，帮助读者一步步读取数据、预处理数据、调用正确的模型、运行模型、后处理模型预测结果、得到接近SOTA的结果。

• 首页
• 深度学习数学基础-初步完结
  • 1.1 标量、向量、矩阵、张量
  • 1.2 简单的线性代数
  • 2.1-标量：导数的概念
  • 2.2-标量：链式法则
  • 2.3-标量：求导常用公式
  • 2.4-多个标量：多元函数求导、偏导数
  • 2.5-方向导数和梯度
  • 2.6-向量的梯度和Jacobian矩阵
  • 2.7-矩阵和张量的梯度
  • 2.8-神经网络中几个实用的梯度计算
  • 3.1-神经网络中的反向传播
  • 3.2-单层神经网络梯度计算例子
  • 4.1-Pytorch自动求梯度
  • 4.2-Tensorflow自动求梯度
• 深度学习模型基础-更新中
  • 1.1-图解attetion
  • 1.2-图解transformer
  • 1.3-图解BERT
  • 1.4-图解GPT
• 深度学习应用-更新中
  • 自然语言处理
    • 1-语言模型
    • 2-机器翻译
    • 3-机器问答
    • 4-摘要生成
    • 5-token 分类
  • 计算机视觉
    • 1-Vit和自监督学习

我的知乎是多多笔记

可以添加这个微信号联系我：bit_pku_eecs，备注：交流，可以帮拉入transformer、NLP、深度学习的交流群进行讨论。

也欢迎关注公众号：