Обучить ResNet20 на CIFAR10, реализовать метод pruning'а и оценить его результаты.

Шаг 1. Ознакомиться с понятием Pruning.

На данном шаге предлагается разобраться с понятием pruning'а нейросетей, какие типы бывают и чем они отличаются, в чем основная мотивация методов и т.п.

Шаг 2. Скачать датасет CIFAR10.

Необходимо скачать датасет CIFAR10 для последующих экспериментов.

Шаг 3. Реализовать архитектуру ResNet20.

На данном шаге предлагается реализовать известную архитектуру ResNet20 совместно с процедурой ее обучения (с поправкой на датасет CIFAR10).

Шаг 4. Обучить ResNet20.

Нужно обучить реализованную архитектуру на скаченном датасете (точность сети должна быть не менее 90%).

Шаг 5. Реализовать filter-level метод pruning'а.

На данном шаге предлагается реализовать самостоятельно метод pruning'а. Предлагаемый метод в основном состоит из следующих 2-х шагов:

1. Для каждого сверточного слоя кластеризуется набор сверток, его представляющий (тензор весов). Необходимо проводить отдельную кластеризацию для каждого слоя.
2. Каждая исходная свертка в определенном слое заменяется на центроид кластера, к которому она была отнесена на шаге 1.

Требуется проварьировать число кластеров в каждом слое и получить результаты. Попробуйте использовать одинаковое число кластеров для каждого слоя, попробуйте в первых и последних слоях использовать большее число кластеров, чем в остальных слоях. При экспериментах использовать уже обученную модель, которая была получена на шаге 4.

> (Не обязательно) Попробуйте дообучить модель несколько эпох в этих ограничениях (стандартная процедура обучения, только при forward необходимо использовать реализованный метод pruning'а).

Шаг 6. Визуализировать результаты и провести их анализ.

На данном этапе проведите анализ полученных результатов и сформулируйте выводы, а также постройте графики для демонстрации этих выводов.

Шаг 7. Сформулировать идеи для улучшения текущих результатов.

Предложите свои идеи, как можно улучшить текущие результаты.

1. Оформление кода на github.
2. Оформление результатов.
3. Структура репозитория.
4. Соответствие решения тестовому заданию.
5. Любые релевантные теме мысли, идеи и соображения.

Резюме можно отправлять на почту [email protected] или через форму на сайте.