Code Monkey home page Code Monkey logo

leedl-tutorial's Introduction

GitHub issues GitHub stars GitHub forks Hits 知识共享许可协议

李宏毅深度学习教程LeeDL-Tutorial

李宏毅老师是**大学的教授,其《机器学习》(2021年春)是深度学习领域经典的中文视频之一。李老师幽默风趣的授课风格深受大家喜爱,让晦涩难懂的深度学习理论变得轻松易懂,他会通过很多动漫相关的有趣例子来讲解深度学习理论。李老师的课程内容很全面,覆盖了到深度学习必须掌握的常见理论,能让学生对于深度学习的绝大多数领域都有一定了解,从而可以进一步选择想要深入的方向进行学习,对于想入门深度学习又想看中文讲解的同学是非常推荐的。

本教程主要内容源于《机器学习》(2021年春),并在其基础上进行了一定的原创。比如,为了尽可能地降低阅读门槛,笔者对这门公开课的精华内容进行选取并优化,对所涉及的公式都给出详细的推导过程,对较难理解的知识点进行了重点讲解和强化,以方便读者较为轻松地入门。此外,为了丰富内容,笔者在教程中选取了《机器学习》(2017年春) 的部分内容,并补充了不少除这门公开课之外的深度学习相关知识。

注:

最新版PDF下载

地址:https://github.com/datawhalechina/leedl-tutorial/releases

国内地址(推荐国内读者使用):https://pan.baidu.com/s/1DlG17PgvSuwT_wd5YW5WBg 提取码: xxer

ℹ️ 李宏毅老师推荐

李宏毅老师推荐。

内容介绍

  • 引言 @王琦
  • 深度学习 @王琦
    • 局部最小值与鞍点
    • 训练技巧
    • 自适应学习率
    • 分类问题损失函数
    • 归一化
  • 卷积神经网络和自注意力机制 @王琦
    • 卷积神经网络
    • 自注意力机制
  • 循环神经网络 @王琦
  • Transformer @王琦
    • Transformer
  • 生成模型 @杨毅远
    • 生成对抗网络基础
    • 生成对抗网络理论与 Wasserstein 生成对抗网络
    • 生成对抗网络的评估与有条件的生成对抗网络
    • 循环生成对抗网络
  • 自监督学习 @王琦
    • 芝麻街的模型
    • BERT
    • GPT-3
  • 自动编码器概念及其应用 @江季
  • 扩散模型@王琦
  • 对抗攻击 @杨毅远
    • 对抗攻击基本概念
    • 白盒攻击vs黑盒攻击
    • 被动防守vs主动防守
  • 可解释人工智能 @杨毅远
    • 可解释人工智能概念与案例
    • 可解释人工智能中的局部可解释性
    • 可解释人工智能中的全局可解释性
  • 迁移学习 @王琦
    • 领域自适应
    • 领域对抗训练
  • 深度强化学习 @王琦
  • 终身学习 @杨毅远
    • 灾难性遗忘
    • 缓解灾难性遗忘
  • 网络压缩 @王琦
    • 剪枝与彩票假设
    • 知识蒸馏
  • 元学习 @杨毅远
    • 元学习的概念
    • 元学习的实例算法
    • 元学习的应用
  • ChatGPT @杨毅远
    • 对于ChatGPT的误解
    • ChatGPT背后的关键技术——预训练
    • ChatGPT带来的研究问题

配套代码

点击或者网页点击Homework文件夹进入配套代码

扩展资源

强化学习感兴趣的读者,可阅读蘑菇书EasyRL

贡献者

pic
Qi Wang

上海交通大学博士生
**科学院大学硕士

pic
Yiyuan Yang

牛津大学博士生
清华大学硕士

pic
John Jim

北京大学硕士

引用信息

@misc{wang2023leedltutorial,
title = {李宏毅深度学习教程},
year = {2023},
author = {王琦,杨毅远,江季},
url = {https://github.com/datawhalechina/leedl-tutorial}
}
@misc{wang2023leedltutorialen,
title = {Deep Learning Tutorial by Hung-yi Lee},
year = {2023},
author = {Qi Wang,Yiyuan Yang,Ji Jiang},
url = {https://github.com/datawhalechina/leedl-tutorial}
}

如果您需要转载该教程的内容,请注明出处:https://github.com/datawhalechina/leedl-tutorial

致谢

特别感谢 @Sm1les@LSGOMYPFuWeiru 对本项目的帮助与支持。

另外,十分感谢大家对于LeeDL-tutorial的关注。 Stargazers repo roster for @datawhalechina/leedl-tutorial Forkers repo roster for @datawhalechina/leedl-tutorial

关注我们

扫描下方二维码关注公众号:Datawhale,回复关键词“李宏毅深度学习”,即可加入“LeeDL-Tutorial读者交流群”

Datawhale是一个专注AI领域的开源组织,以“for the learner,和学习者一起成长”为愿景,构建对学习者最有价值的开源学习社区。关注我们,一起学习成长。

LICENSE

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

Star History

Star History

leedl-tutorial's People

Contributors

datawhalexiuyuan avatar heitao5200 avatar hirotransfer avatar huangmh11 avatar imay-king avatar lilrachel avatar qiwang067 avatar sm1les avatar spareribs avatar turtleman99 avatar yyysjz1997 avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

leedl-tutorial's Issues

交叉熵定义勘误

在logistic回归那节里面

假设有两个分布 p 和 q,如图中蓝色方框所示,这两个分布之间交叉熵的计算方式就是 H(p,q)H(p,q);交叉熵代表的含义是这两个分布有多接近,如果两个分布是一模一样的话,那计算出的交叉熵就是0

我认为更准确的说法是:当两个分布一模一样,计算出来的cross-Entropy等于entropy。在机器学习的分类问题里面,等于真实分布时,-1log(1)=0,其他项都是0,这时候才会出现cross-Entropy=Entropy=0的情况

评论时登录Gitalk回调报错

P40 说出为什么“我知道”小节内容有误

今天我们看到各式各样机器学习非常强大的力量,感觉机器好像非常的聪明,过去有个例子神马汉斯,聪明到可以计算数学题,甚至可以解开根号的问题。 人们觉得非常的惊叹,不要有任何的观众,让马来解决问题,之前他是学到了旁边人的反应,然后停下来踏蹄。 今天我们看到的机器学习成果,它真的那么聪明吗?会不会它跟汉斯一样,用了非常奇怪的方法来得到答案。

加粗部分,有内容遗漏,应该是 但是如果没有任何观众,让马来解决问题,马就会一直原地不停踏步。所以之前马能回答问题只是学到了旁边人的反应。 这类意思

在回归-演示中的代码

在创建线性回归的代码中,在给了w和b动态学习的代码那一块,更新参数的时候,应该是b_grad=b_grad-2.0*(y_data[n]-b-wx_data[n])1.0 而代码中写的是b_grad=b_grad-2.0(y_data[n]-n-wx_data[n])*1.0
基于-n的情况,在绘制最后的损失函数图的时候,图像不会去向X点

改进建议

希望作者对笔记内容进行审校,有非常多的简单错误。
image
这句话明显说反了

有整合的pdf吗

有没有整合的pdf啊,因为更习惯看pdf,可以自己标注重点啥的

P3 回归关于w的移动问题

笔记中说:根据斜率判定移动的方向
大于0 向右移动(增加w)
小于0 向左移动(减少w)
应该是
大于0 向左移动(减少w)
小于0 向右移动(增加w)

校正P37

如何解决RNN梯度消失或者爆炸
-其他方式
如果你说一般train的方法initiaed weight是(这个单词没懂)

上面没懂的单词应该是 random ,老师想说的是训练的时候权重初始化方法不是随机的而是用单位阵,使用RELU会有比较好的效果。

主成分分析那里出现问题

image
这里应该出错了,应该是下面这样
image

image
还有这里应该是c_1 u^1 component 加上c_2 u^2 这个component

image
“所以”应该在句首

p4回归-演示代码错误

b_grad=b_grad-2.0*(y_data[n]-n-wx_data[n])1.0
应该是
b_grad=b_grad-2.0
(y_data[n]-b-w
x_data[n])*1.0

上下两个代码都错误了

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.