Пошаговое руководство по рабочей кривой приемника с матрицей неточностей
В приложениях машинного обучения алгоритмы классификации используются для прогнозирования потока данных, чтобы пометить объекты для дальнейшего анализа. В таких приложениях важна не только точность алгоритмов классификации, но также чувствительность или истинно положительный уровень (скорость обнаружения / распознавания) алгоритмов. Пример дисбаланса данных на этапе обучения модели машинного обучения может показать важность как точности, так и скорости обнаружения. Произвольный класс (например, автомобиль) с большим количеством образцов даст хорошую точность, потому что классификатор видел много примеров этого класса во время обучения, однако классификатор будет плохо работать с классом (человек) с небольшим количеством образцов. Это означает, что общий уровень распознавания системы будет ниже. Точность, прецизионность и скорость распознавания можно измерить с помощью кривых рабочих характеристик приемника (ROC).
Первоначально ROC использовался для анализа радиолокационных сигналов во время Второй мировой войны. В настоящее время ROC-анализ используется в теории обнаружения сигналов, машинном обучении, системах измерения и медицинских диагностических приложениях.
В этой статье мы обсудим, как ROC-анализ может быть использован для определения точности классификации алгоритмов компьютерного зрения. Основную концепцию анализа ROC можно легко понять с помощью матрицы неточностей, также известной как матрица ошибок.
Матрица путаницы
Матрица неточностей показывает количество правильных и неправильных прогнозов, сделанных классификационной моделью в отношении фактических результатов / основных истин. Общая матрица неточностей имеет четыре категории, как показано в таблице 1. Мы объясним это на простом примере, обнаружении человеческого тела на черном фоне, как показано на рисунке 1.
- TP = True Positive, когда граница объекта классифицирована правильно (белые пиксели), что верно. Ожидаемый результат.
- FP = ложное срабатывание, когда черный фон классифицируется как человек, что является ложной классификацией (красные пиксели). Не ожидаемый результат.
- TN = True Negative, когда фон не классифицируется как человеческий, что верно. Ожидаемый результат.
- FN = False Negative, когда человек классифицируется как часть фона (зеленый), что является ложным. Не ожидаемый результат.
Учитывая матрицу путаницы, легко построить точку в пространствах ROC или Precision-Recall. В пространстве ROC частота ложных положительных результатов (FPR) откладывается по оси x, а частота истинных положительных результатов (TPR ) откладывается по оси ординат.
FPR - это отношение неправильно классифицированных образцов (ложноположительных результатов) к общему количеству отрицательных образцов (ложноположительные + истинно отрицательные). Проще говоря, когда ответ на самом деле отрицательный, сколько раз ответ будет утвердительным. Он охватывает область черного фона на Рисунке 1.
TPR - это отношение правильно классифицированных образцов (истинно положительных) к общему количеству положительных образцов (истинно положительных + ложно отрицательных). Проще говоря, если ответ положительный, сколько раз ответ будет утвердительным. Он охватывает область белой части человеческого тела на Рисунке 1.
В пространстве PR Напоминание откладывается по оси x, а Точность откладывается по оси Y. Отзыв - это то же самое, что TPR, а Точность - это отношение действительно классифицированных образцов (истинно положительных) к общему количеству положительных образцов. Другими словами, точность - это если ответ положительный, как часто он считается положительным [2].
Пример: обнаружение человека как проблема двоичной классификации
Системы встроенных интеллектуальных камер набирают популярность для ряда реальных приложений видеонаблюдения. Тем не менее, все еще существуют проблемы, такие как изменение освещенности, теней, окклюзии и погодных условий при использовании алгоритмов зрения на открытом воздухе. Для решения этих задач создаются конвейеры визуализации, позволяющие снизить фоновый шум. Вычитание фона - важный шаг в конвейере формирования изображений для улучшения отношения сигнал / шум. В этой работе метод моделирования и вычитания фона низкой сложности будет оцениваться с помощью кривой ROC. Производительность трех алгоритмов вычитания фона; Будет проведено сравнение фильтра нижних частот с бесконечной импульсной характеристикой, прогрессивной генерации и гибридной техники. Для простоты вырезанные изображения сегментированы, чтобы ограничить исследование проблемой двоичной классификации.
Положительные и отрицательные стороны для эталонного сегментированного изображения относительно наземного истинного изображения (рассчитанного / извлеченного вручную) показаны на рисунке 1. На рисунке TP представляет пиксели, которые правильно помечены как положительные, FP представляет пиксели, которые неправильно помечены как положительные, TN представляет пиксели. которые правильно помечены как отрицательные, а FN представляет пиксели, которые неправильно помечены как отрицательные.
Используя четыре комбинации TP, FP, TN и FN, мы можем построить кривую ROC, которую можно построить с точностью до отзыва или истинно положительной скорости (TPR) против ложноположительной скорости (FPR).
Точность или отзыв: правильно идентифицированные свойства фактических положительных результатов.
Согласно определению, хороший алгоритм должен выдавать небольшое количество ложных срабатываний и ложноотрицаний одновременно. Это означает, что и Precision, и Recall должны иметь высокие значения. Точность и отзыв дают одно значение с одним порогом, поэтому мы использовали диапазон пороговых значений для построения кривой. Это также помогает определить подходящий порог [1].
Сравнение трех алгоритмов вычитания фона: Кривая ROC для трех методов вычитания фона, включая фильтр с бесконечной импульсной характеристикой нижних частот, прогрессивную генерацию и гибридные методы, показано на рисунке 2. Очевидно, что гибридные методы имеют высокий точность и высокая отзывчивость по сравнению с двумя другими методами.
Альтернативную иллюстрацию тех же результатов можно прочесть на Рисунке 3, на котором показана кривая ROC с ложноположительной скоростью (FPR) против истинно положительной скорости (TPR). На этой кривой TPR высокий, а FPR низкий для предлагаемого нами алгоритма по сравнению с двумя другими опубликованными системами.
Вывод:
В машинном обучении часто проблема классификации сводится к задачам двоичного решения из-за меньшей сложности. Оценка производительности алгоритмов классификации важна, потому что общая производительность обнаружения системы зависит не только от точности, но и от скорости обнаружения. Кривая ROC показывает производительность классификатора по всем возможным пороговым значениям, и пользователь может выбрать подходящее пороговое значение для алгоритма.
Кривая ROC создается путем построения графика истинного положительного результата по оси y против ложного положительного результата по оси абсцисс. Приведенный пример сравнения производительности трех методов вычитания фона с кривыми ROC показывает, что легко количественно оценить результаты, глядя на точность и отзыв трех алгоритмов.
Использованная литература:
1- Янник Бенезет, Пьер-Марк Жоден, Бруно Эмиль, Хельен Лоран, Кристоф Розенбергер. Сравнительное исследование алгоритмов вычитания фона. Журнал электронного изображения, Общество инженеров по фотооптическому приборостроению (SPIE), 2010.
2- Дж. Дэвис и М. Годрич. Взаимосвязь между кривыми точности-отзыва и roc. Технический отчет № 1551, Висконсинский университет в Мэдисоне, январь 2006 г.
Статьи по Теме
Вы хотите применить ROC-анализ к системе обнаружения и классификации в реальном времени? пожалуйста, следуйте инструкциям, чтобы сделать рабочую систему с Nvidia Jetson Nano
Вы хотите создать компьютерное зрение на компьютере с Windows с помощью OpenCV и QT? пожалуйста, следуйте инструкциям
Полезные ссылки
Простой пример матрицы недоразумений в ссылке
