Проект по созданию системы безопасности на предприятии, реализующей детектирование людей и автоматическую проверку наличия касок по изображениям с видеокамер

Я сделал обучение двух различных нейронных сетей Faster-RCNN с FPN (Region Based Convolutional Neural Network with Feature Pyramid Architecture). Первая сеть реализует детектирование людей по изображениям с видеокамер, а вторая проверяет наличие касок на головах работников предприятия.
Для того чтобы получить более качественную детекцию, я использовал технологию transfer learning, инициализировав на старте предобученные веса. После завершения обучения сетей я сохранил состояния моделей, которые показали наименьший суммарный лосс на валидации. Далее я реализовал оценку качества детектирования, используя самостоятельно написанные функции, которые вычисляли следующие валидационные метрики:

1. среднее IOU;
2. recall и precision при заданных порогах уверенности (score) и IoU;
3. значения average precision (AP) для каждого класса;
4. mean average precision (mAP) для модели двухклассовой детекции c различными порогами по IoU.
   

В процессе обучения моделей я также проводил мониторинг изменения лосс функций на трейне и валидации. Данные результаты сохранил в tensorboard.dev

Ключевой файл - отчет в формате jupiter notebook main.ipynb, в котором представлено подробное описание реализованного проекта и описаны все шаги по предобработке данных, а также обучению и тестированию моделей с выводами. Все ключевые для данного проекта функции я представил в отдельных .py файлах:

1. реализация аугментации и визуализация исходных данных - augment_and_visualize.py
2. реализация обучения сетей с параллельным тестированием на валидации и трекингом в tensorboard - training_rcnn.py
3. визаулизация результатов детекции и загрузка обученных моделей с гугл диска - predict.py
4. подсчет всех ключевых метрик для оценки качества детектирования - metrics.py

Для того, чтобы была возможность самостоятельно протестировать работоспособность двух обученных моделей детектирования, написал скрипт detecting.py, который запрашивает путь к файлу (jpg/png) и визуализирует результаты распознавания. О том, как запустить этот скрипт через терминал будет далее подробно рассказано.

Примеры результатов работы двух разных обученных моделей:

Данные команды требуется запускать последовательно в терминале:

1. Склонируйте к себе этот репозиторий

git clone https://github.com/Koldim2001/Factory_detection.git

2. Перейдите с помощью команды cd в созданную папку Factory_detection

cd Factory_detection

3. Загрузите все необходимые библиотеки:

pip install -r requirements.txt

4. Запустите написанный python скрипт:

python detecting.py

При запуске программы потребуется ввести путь к изображению, для которого надо провести детекцию. Учтите, что путь к файлу не должен содержать кириллицу (русские буквы). После завершения детектирования людей откроется отдельное окно с результирующими боксами. При закрытии этого окна автоматически начнется процедура двухклассовой детекции (наличие/отсутвие касок на голове). По результатам вычислений откроется новое отдельное окно с задетектированными боксами.

Я реализовал интеграцию модели детектирования людей в чат бот. При отправлении изображения в лс он выдает число обнаруженных объектов и отправляет ответное изображение с предсказанными bounding боксами.
Инструкция по запуску "локального сервера", реализующего работу бота:
Первые 3 этапа идентичны описанным ранее.
4. Запустите написанный python скрипт (но сначала вставьте свой API ключ в код):

python tg_bot.py

5. Перейдите в диалог с ботом и пользуйтесь
   

Пример работы телеграм бота: