This repository contains notebooks for the Fundamentals of Deep Learning course.

Tip #1:

Loading the entire repository can take a considerable amount of time. A single folder can be downloaded via DownGit.

Tip #2:

Sometimes GitHub failes to render a notebook. In that case use nbviewer — it works like a charm!

Tip #3:

In those cases when nbviewer fails to find a notebook whereas GitHub finds it just fine, try to add ?flush_cache=false at the end of the nbviewer link.

Legend: — slides, — code, — video.

Week	What	Where	When
1	Введение в глубокое обучение: нейрон, перекрёстная энтропия, градиентный спуск, Numpy, логистическая регрессия.		20.01.2021
2	Полносвязные сети, метод обратного распространения ошибки, стохастический градиентный спуск, производные по матрицам.		27.01.2021
3	Особенности и методы оптимизации в глубоком обучении, методы регуляризации, transfer learning. Основы PyTorch.		03.02.2021
4	Свёртки и свёрточные нейронные сети. CNN в PyTorch.		10.02.2021
5	Процесс разработки в ML, разбиение данных, компромисс отклонение-дисперсия, метрики, ускорение моделей, квантование сетей, QAT. PyTorch Lightning, Optuna.		17.02.2021
6	Языковые модели, рекуррентные архитектуры, работа с памятью. Применение RNN для генерации имён.		25.02.2021
7	Повторение основных методов и подходов в глубоком обучении, а также основ PyTorch.		03.03.2021

Additional materials on the topic of recurrent neural networks:

• What Every Computer Scientist Should Know About Floating-Point Arithmetic
• Understanding LSTMs (by Christopher Olah)
• The Unreasonable Effectiveness of Recurrent Neural Networks (by Andrej Karpathy)