¿Qué es una matriz de confusión en el aprendizaje automático?
Una matriz de confusión es una herramienta para evaluarate el rendimiento del tipo de clasificación de algoritmos de aprendizaje automático supervisados.
¿Qué es una matriz de confusión?
Nosotros, los humanos, percibimos las cosas de manera diferente, incluso la verdad y la mentira. Lo que a mí me puede parecer una línea de 10 cm de largo, a ti te puede parecer una línea de 9 cm. Pero el valor real puede ser 9, 10 o algo más. ¡Lo que suponemos es el valor predicho!
Al igual que nuestro cerebro aplica su propia lógica para predecir algo, las máquinas aplican varios algoritmos (llamados máquina de aprendizaje algoritmos) para llegar a un valor predicho para una pregunta. Nuevamente, estos valores pueden ser iguales o diferentes del valor real.
En un mundo competitivo, nos gustaría saber si nuestra predicción es correcta o no para entender nuestra actuación. De la misma manera, podemos determinar el rendimiento de un algoritmo de aprendizaje automático mediante ¿Cuántos predicciones que hizo correctamente.
Entonces, ¿qué es un algoritmo de aprendizaje automático?
Las máquinas intentan llegar a ciertas respuestas a un problema aplicando cierta lógica o conjunto de instrucciones, llamados algoritmos de aprendizaje automático. Los algoritmos de aprendizaje automático son de tres tipos: supervisados, no supervisados o de refuerzo.
Los tipos más simples de algoritmos son supervisados, donde ya sabemos la respuesta, y entrenamos las máquinas para llegar a esa respuesta entrenando el algoritmo con una gran cantidad de datos, de la misma manera que un niño diferenciaríaate entre personas de diferentes grupos de edad observando sus características una y otra vez.
Los algoritmos de aprendizaje automático supervisados son de dos tipos: clasificación y regresión.
Los algoritmos de clasificación clasifican u ordenan los datos en función de algún conjunto de criterios. Por ejemplo, si desea que su algoritmo agrupe a los clientes en función de sus preferencias alimenticias (a quienes les gusta la pizza y a quienes no les gusta la pizza), usaría un algoritmo de clasificación como árbol de decisión, bosque aleatorio, naïve Bayes o SVM (Máquinas de vectores soporte).
¿Cuál de estos algoritmos haría el mejor trabajo? ¿Por qué debería elegir un algoritmo sobre el otro?
Introduzca la matriz de confusión….
A matriz de confusión Es una matriz o tabla que proporciona información sobre la precisiónate un algoritmo de clasificación consiste en clasificar un conjunto de datos. Bueno, el nombre no es para confundir a los humanos, ¡pero demasiadas predicciones incorrectas probablemente signifiquen que el algoritmo estaba confundido😉!
Entonces, una matriz de confusión es un método para evaluar el desempeño de un algoritmo de clasificación.
¿Cómo?
Digamos que aplicaste diferentes algoritmos a nuestra prevProblema binario mencionado con mucha frecuencia: clasificar (segregar)ate) personas según si les gusta o no la pizza. para evaluarate Para encontrar el algoritmo que tenga los valores más cercanos a la respuesta correcta, se utilizará una matriz de confusión. Para un problema de clasificación binaria (me gusta/no me gusta, verdadero/falso, 1/0), la matriz de confusión proporciona cuatro valores de cuadrícula, a saber:
- Verdadero Positivo (TP)
- Verdadero Negativo (TN)
- Falso positivo (FP)
- Falso Negativo (FN)
¿Cuáles son las cuatro cuadrículas en una matriz de confusión?
Los cuatro valores determinados usando la matriz de confusión forman las cuadrículas de la matriz.
Verdadero Positivo (TP) y Verdadero Negativo (TN) son los valores predichos correctamente por el algoritmo de clasificación,
- TP representa a quienes les gusta la pizza, y el modelo los clasificó correctamente,
- TN representa a los que no les gusta la pizza, y la modelo los clasificó correctamente,
Falso Positivo (FP) y Falso Negativo (FN) son los valores que el clasificador predice erróneamente,
- FP representa a los que no les gusta la pizza (negativo), pero el clasificador predijo que les gusta la pizza (erróneamente positivo). FP también se denomina error de tipo I.
- FN representa a los que les gusta la pizza (positivo), pero el clasificador predijo que no (erróneamente negativo). FN también se denomina error de tipo II.
Para comprender mejor el concepto, tomemos un escenario de la vida real.
Digamos que tiene un conjunto de datos de 400 personas que se sometieron a la prueba de Covid. Ahora, obtuvo los resultados de varios algoritmos que determinaron la cantidad de personas positivas y negativas de Covid.
Aquí están las dos matrices de confusión para comparar:
 |  |
Al observar ambos, puede sentirse tentado a decir que el 1st El algoritmo es más preciso.ate. Pero, para obtener un resultado concreto, necesitamos algunas métricas que puedan medir la exactitud, la precisión y muchos otros valores que demuestren qué algoritmo es mejor.
Métricas usando matriz de confusión y su significado
Las principales métricas que nos ayudan a decidir si el clasificador hizo las predicciones correctas son:
#1. Recuperación/Sensibilidad
Recuerdo o Sensibilidad o Verdadero Positivo Rate (TPR) o probabilidad de detección es la relación entre las predicciones positivas correctas (TP) y el total de positivos (es decir, TP y FN).
R = TP/(TP + FN)
La recuperación es la medida de los resultados positivos correctos devueltos del número de resultados positivos correctos que podrían haberse producido. Un valor más alto de Recall significa que hay menos falsos negativos, lo que es bueno para el algoritmo. Utilice Recall cuando sea importante conocer los falsos negativos. Por ejemplo, si una persona tiene múltiples bloqueos en el corazón y el modelo muestra que está absolutamente bien, podría resultar fatal.
#2. Precisión
La precisión es la medida de los resultados positivos correctos de todos los resultados positivos previstos, incluidos los positivos verdaderos y falsos.
Pr = TP/(TP + FP)
La precisión es muy importante cuando los falsos positivos son demasiado importantes para ignorarlos. Por ejemplo, si una persona no tiene diabetes, pero el modelo lo muestra y el médico le receta ciertos medicamentos. Esto puede provocar efectos secundarios graves.
#3. Especificidad
Especificidad o R verdadero negativoate (TNR) son los resultados negativos correctos encontrados entre todos los resultados que podrían haber sido negativos.
S = TN/(TN + FP)
Es una medida de qué tan bien su clasificador está identificando los valores negativos.
#4. Exactitud
La precisión es el número de predicciones correctas del número total de predicciones. Entonces, si encontró correctamente 20 valores positivos y 10 negativos de una muestra de 50, la precisión de su modelo será 30/50.
Precisión A = (TP + TN)/(TP + TN + FP + FN)
#5. Prevalencia
PrevLa distancia es la medida del número de resultados positivos obtenidos entre todos los resultados.
P = (TP + FN)/(TP + TN + FP + FN)
#6. Puntuación F
A veces, es difícil comparar dos clasificadores (modelos) usando solo Precisión y Recuperación, que son solo medias aritméticas de una combinación de las cuatro cuadrículas. En tales casos, podemos utilizar el puntaje F o el puntaje F1, que es la media armónica, que es más precisa.ate porque no varía demasiado para valores extremadamente altos. Puntuación F más alta (máx. 1) indicaateUn mejor modelo.
Puntuación F = 2*Precisión*Recordar/ (Recordar + Precisión)
Cuando es vital ocuparse tanto de los falsos positivos como de los falsos negativos, la puntuación F1 es una buena métrica. Por ejemplo, aquellos que no son positivos para covid (pero el algoritmo lo demostró) no necesitan ser aislados innecesariamente.ated. De la misma manera, aquellos que son positivos para Covid (pero el algoritmo dice que no lo son) deben aislarse.ated.
#7. Curvas ROC
Parámetros como Exactitud y Precisión son buenas métricas si los datos están equilibrados. Para un conjunto de datos desequilibrado, una alta precisión puede no significar necesariamente que el clasificador sea eficiente. Por ejemplo, 90 de cada 100 estudiantes en un lote saben español. Ahora, incluso si su algoritmo dice que los 100 saben español, su precisión será del 90%, lo que puede dar una imagen incorrecta sobre el modelo. En casos de conjuntos de datos desequilibrados, las métricas como ROC son determinantes más efectivos.
ROC (característica operativa del receptor) curva visualally muestra el rendimiento de un modelo de clasificación binaria en varios umbrales de clasificación. Es una gráfica de TPR (True Positive Rate) contra FPR (Falso Positivo Rate), que es cálculoated como (1-Especificidad) en diferentes valores de umbral. El valor más cercano a 45 grados (arriba a la izquierda) en el gráfico es el más preciso.ate valor umbral. Si el umbral es demasiado alto no tendremos muchos falsos positivos, pero sí más falsos negativos y viceversa.
eneroally, cuando se traza la curva ROC para varios modelos, el que tiene el área bajo la curva (AUC) más grande se considera el mejor modelo.
calculemosate todos los valores métricos para nuestras matrices de confusión Clasificador I y Clasificador II:
Vemos que la precisión es mayor en el clasificador II, mientras que la precisión es ligeramente mayor en el clasificador I. Según el problema en cuestión, los responsables de la toma de decisiones pueden seleccionar los clasificadores I o II.
Matriz de confusión N x N
Hasta ahora hemos visto una matriz de confusión para clasificadores binarios. ¿Y si hubiera más c?ategories que simplemente sí/no o me gusta/no me gusta. Por ejemplo, si su algoritmo fuera ordenar imágenes de colores rojo, verde y azul. Este tipo de clasificación se denomina clasificación multiclase. El número de variables de salida también decide el tamaño de la matriz. Entonces, en este caso, la matriz de confusión será 3×3.
Resumen
Una matriz de confusión es un excelente sistema de evaluación, ya que brinda información detallada sobre el desempeño de un algoritmo de clasificación. Funciona bien tanto para clasificadores binarios como de clases múltiples, donde hay más de 2 parámetros que cuidar. Es fácil visualizar una matriz de confusión y podemos generarla.ate todas las demás métricas de rendimiento como puntuación F, precisión, ROC y exactitud utilizan la matriz de confusión.
También puede ver cómo elegir Algoritmos de ML para problemas de regresión.
