Обучить ResNet20 на CIFAR10, реализовать метод pruning'а и оценить его результаты.
Шаг 1. Ознакомиться с понятием Pruning.
На данном шаге предлагается разобраться с понятием pruning'а нейросетей, какие типы бывают и чем они отличаются, в чем основная мотивация методов и т.п.
Шаг 2. Скачать датасет CIFAR10.
Необходимо скачать датасет CIFAR10 для последующих экспериментов.
Шаг 3. Реализовать архитектуру ResNet20.
На данном шаге предлагается реализовать известную архитектуру ResNet20 совместно с процедурой ее обучения (с поправкой на датасет CIFAR10).
Нужно обучить реализованную архитектуру на скаченном датасете (точность сети должна быть не менее 90%).
Шаг 5. Реализовать filter-level метод pruning'а.
На данном шаге предлагается реализовать самостоятельно метод pruning'а. Предлагаемый метод в основном состоит из следующих 2-х шагов:
- Для каждого сверточного слоя кластеризуется набор сверток, его представляющий (тензор весов). Необходимо проводить отдельную кластеризацию для каждого слоя.
- Каждая исходная свертка в определенном слое заменяется на центроид кластера, к которому она была отнесена на шаге 1.
Требуется проварьировать число кластеров в каждом слое и получить результаты. Попробуйте использовать одинаковое число кластеров для каждого слоя, попробуйте в первых и последних слоях использовать большее число кластеров, чем в остальных слоях. При экспериментах использовать уже обученную модель, которая была получена на шаге 4.
> (Не обязательно) Попробуйте дообучить модель несколько эпох в этих ограничениях (стандартная процедура обучения, только при forward необходимо использовать реализованный метод pruning'а).
Шаг 6. Визуализировать результаты и провести их анализ.
На данном этапе проведите анализ полученных результатов и сформулируйте выводы, а также постройте графики для демонстрации этих выводов.
Шаг 7. Сформулировать идеи для улучшения текущих результатов.
Предложите свои идеи, как можно улучшить текущие результаты.
- Оформление кода на github.
- Оформление результатов.
- Структура репозитория.
- Соответствие решения тестовому заданию.
- Любые релевантные теме мысли, идеи и соображения.
Резюме можно отправлять на почту [email protected] или через форму на сайте.