GUI приложение показывающее метрики для обнаружения объектов на основе xml файлов.

• Linux

• python3, библиотеки:
  • sys
  • os
  • numpy
  • numpy
  • tkinter
  • matplotlib
  • xml

Приложение предоставляет простые в использовании функции, реализующие те же метрики, которые используются в самых популярных источниках по обнаружению объектов . Реализация была тщательно сравнена с официальной реализацией, и полученные результаты совпадают с официальными результатами.

Для того, чтобы определить пересечения между двумя регионами изображения будет использоваться метрика Intersection over Union (IOU). Она считается довольно просто: площадь пересечения двух областей (area of overlap) делится на общую площадь объединения регионов (area of union). Изображение ниже иллюстрирует IOU, где исходный объект отмечен зеленым прямоугольником и обнаруженный объект красным прямоугольником.

• TP — истино-положительное решение. Обнаружение при условии IOU ≥ порог
• TN — истино-отрицательное решение. Обнаружение при условии IOU < порог
• FP — ложно-положительное решение
• FN — ложно-отрицательное решение

порог: в зависимости от метрики, он обычно устанавливается на 50%, 75% или 95%.

Правильность - доля правильных ответов алгоритма.

Точность системы в пределах класса – это процентов объектов действительно принадлежащих данному классу относительно всех документов которые система отнесла к этому классу.

Полнота системы – это процент найденных классификатором объектов принадлежащих классу относительно всех объектов этого класса в тестовой выборке.

Гармоническое среднее между точностью и полнотой.

git clone https://gitlab.com/agaltsev.stas/machine-learning-metrics-from-xml.git
cd machine-learning-metrics-from-xml

python3 gui.py

Пользователю предлагается загрузить 2 xml файла: исходный файл source local (load xml labled), а также размеченный нейросетью (load xml nerounet). Результаты работы представлены ниже на рисунках для классов: car, sign, truck, person, trafficlight, bus.

• Метрики в задачах машинного обучения https://habr.com/ru/company/ods/blog/328372/

• Object Detection. Распознавай и властвуй. Часть 1 https://habr.com/ru/company/jetinfosystems/blog/498294/

• Decoding the Confusion Matrix https://keytodatascience.com/confusion-matrix/

• Object Detection Metrics https://github.com/rafaelpadilla/Object-Detection-Metrics#recall