Содержание:
1. Матрица путаницы
2. Показатели, полученные из матрицы путаницы
3. Когда уменьшать FN и FP?
4. Неясность Реализация матрицы с помощью Python
5. Ссылки

1. Матрица путаницы

Точность классификации часто рассчитывается как

classification accuracy = (correct predictions / total predictions) * 100

В случае несбалансированного набора данных одна только точность классификации может ввести в заблуждение.

Матрица путаницы — это метод обобщения производительности алгоритма классификации. Вычисление матрицы путаницы в нашей модели классификатора дает нам четкое представление о том, что наша модель делает правильно и какие ошибки она допускает.

TN означает Истинно отрицательный результат. Он состоит из правильно предсказанных значений, при которых событие не произошло. Модель примера предсказывает Person_A (который на самом деле невиновен) как невиновного.

TP означает True Positive. Он состоит из правильно предсказанных значений, при которых событие действительно произошло. Модель-пример предсказывает, что Person_B (фактически совершивший преступление) виновен.

FN означает False Negative. Он состоит из неправильно предсказанных значений, при которых событие действительно произошло. Это также известно как ошибка типа 2. Пример: модель предсказывает, что Person_C (фактически совершивший преступление) невиновен.

FP означает Ложное срабатывание. Он состоит из неправильно предсказанных значений, при которых событие не произошло. Это также известно как ошибка типа 1. Модель-пример предсказывает, что Person_D (который на самом деле невиновен) виновен.

2. Метрики, полученные из матрицы путаницы

  1. Точность:
    это доля прогнозов, которые модель оправдала. Это означает, что это отношение количества правильных прогнозов к общему количеству прогнозов.

2. Коэффициент ошибок:
это противоположность точности. Это доля прогнозов, неверно предсказанных моделью.

3. Точность.
Это мера положительных прогнозов, сделанных моделью.

4. Отзыв.
Это мера модели, правильно предсказывающей истинные положительные результаты.

3. Когда уменьшать FN и FP?

Это полностью зависит от вариантов использования, над которыми мы работаем. Рассмотрим следующие сценарии, в которых нам потребуется уменьшить либо FP, либо FN, либо и то, и другое.

я. В случаях использования, связанных с прогнозированием заболевания, для пациента выгодно, если заболевание выявляется на ранних стадиях. Здесь нам нужно уменьшить ФНпотому что если пациент, у которого действительно есть заболевание, диагностирован как здоровый, то он/она не будет делать дополнительные тесты на здоровье. В ближайшем будущем они могут столкнуться с серьезными проблемами со здоровьем, которые могут даже оказаться фатальными.

II. В случае использования, когда нужно признать человека виновным или невиновным, нам необходимо уменьшить FP, потому что, если невиновный человек будет обвинен в вине, он/она может потратить впустую несколько лет их жизнь в тюрьме.

4. Реализация матрицы путаницы с использованием Python

from sklearn.metrics import confusion_matrix
expected = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0]
predicted = [1, 0, 0, 1, 0, 0, 1, 1, 1, 0]
results = confusion_matrix(expected, predicted)
print(results)

5. Ссылки

1. https://www.youtube.com/watch?v=AyP85ocS-8Y
2. https://machinelearningmastery.com/confusion-matrix-machine-learning/