Matriz de Confusion Listo

MATRIZ DE CONFUSIÓN Es un diseño de tabla específica que permite la visualización de la ejecución de un algoritmo, por lo general un aprendizaje supervisado. Es una matriz de un clasificador de dos o más clases. Contiene información acerca de las clasificaciones actuales y predicciones hechas por un sistema de clasificación. La matriz es n por n, donde n es el número de clases. Cada columna de la matriz representa los casos que el algoritmo predijo, mientras que cada fila representa los casos en una clase real. La tabla 1 representa las posiciones que comúnmente muestra una matriz de confusión: TABLA 1. MATRIZ DE CONFUSION.

TP: son los casos que pertenecen a la clase y el clasificador los definió en esa clase. FN: son los casos que si pertenecen a la clase y el clasificador no los definió en esa clase. FP: son los casos que no pertenecen a la clase pero el clasificador los definió en esa clase. TN: son los casos que no pertenecen a la clase y el clasificador definió que no pertenecen a esa clase.

MÉTRICAS DE LA MATRIZ DE CONFUSIÓN. Accuracy: es la proporción del número total de predicciones que son correctas, se determina utilizando la siguiente ecuación:

Precision: es la proporción de los casos predichos positivos que son correctos, se utiliza la siguiente ecuación para calcularla:

Recall o True Positive Recognition: es la proporción de casos positivos que fueron identificados correctamente, se calcula mediante la siguiente ecuación:

F-measure: es una métrica que toma en cuenta tanto el recall como la precisión. Su ecuación se define a continuación:

EJEMPLO DE MATRIZ DE CONFUSIÓN (2X2), EXTRAÍDA DE WEKA. Predicción R a B e 8 1 a A b 4 1 l

Weka representa en una matriz la información obtenida de las dos clases existentes en los datos procesados. Para obtener la matriz de confusión de cada clase se separa la información. A continuación se presentan las matrices de confusión para cada clase (Tabla 2 y 3). TABLA 2. CLASE A.

TABLA 3. CLASE B

Predicción R a B e 8 1 a A B 4 1 l

Predicción R b A e 1 4 a B A 1 8 l

Para la clase A:    

TP. 8 objetos pertenecen a la clase A y fueron clasificados correctamente en la clase A. TN. 1 objeto no pertenece a la clase A y no fue clasificado en esta clase, se clasificó en B. FP. 4 objetos no pertenecen a la clase A pero si fueron clasificados en esta clase. FN. 1 objeto pertenece a la clase A pero fue clasificado en la clase B.

o Métricas accuracy = (8+1)/(8+1+4+1) = 9/14= 0.6428 recall = 8/(8+1) = 8/9 = 0.888 precision = 8/(8+4) = 8/12 = 0.667 F= 2(8) / (2(8)+4+1) = 16/21 = 0.7619

Para la clase B:    

TP. 1 objeto pertenece a la clase B y fue clasificado correctamente en la clase B. TN. 8 objetos no pertenecen a la clase B y no fueron clasificados en esta clase, se clasificaron en A. FP. 1 objeto no pertenece a la clase B pero si fue clasificado en esta clase. FN. 4 objetos pertenecen a la clase B pero fueron clasificados en la clase A.

o Métricas accuracy = (1+8)/(1+8+4+1) = 9/14= 0.6428 recall = 1/(1+4) = 1/5 = 0.2 precision = 1/(1+1) = 1/2 = 0.5 F= 2(1) / (2(1)+1+4) = 2/7 = 0.285

EJEMPLO DE MATRIZ DE CONFUSIÓN (3 X 3). EXTRAÍDA DE WEKA.

PREDICCIÓN

REAL

A

B

C

A

50

0

0

B

0

48

2

C

0

4

46

CALCULO DE LAS METRICAS DE LA MATRIZ GENERAL accuracy = (8+3)/(8+3+1+2) = 11/14= 0.785 recall = 8/(8+1) = 8/9 = 0.888 precision = 8/(8+2) = 8/10 = 0.8 F= 2(8) / (2(8)+2+1) = 16/19 = 0.842

En un ejemplo de 3 clases cada clase tiene su matriz de confusión: Clase A: 50 TP 0 FP   

0 FN 100 TN

TP. 50 objetos pertenecen a la clase A y fueron clasificados correctamente en la clase A. TN. 100 objetos no pertenecen a la clase A y no fueron clasificados en esta clase. FP. 0 objetos que no pertenecen a la clase B no fueron clasificados en otras clases.



FN. 0 objetos que no pertenecen a la clase A no fueron clasificados en esa clase.

o Métricas accuracy = (50+100)/(50+100+0+0) = 150/150= 1 recall = 50/(50+0) = 50/50 = 1 precision = 50/(50+0) = 50/50 = 1 F= 2(50) / (2(50)+0+0) = 100/100 = 1

Clase B: 48 TP 4 FP    

2 FN 96 TN

TP. 48 objetos pertenecen a la clase B y fueron clasificados correctamente en la clase A. TN. 96 objetos no pertenecen a la clase B y no fueron clasificados en esta clase. FP. 4 objetos que no pertenecen a la clase B fueron clasificados en esta clase. FN. 2 objetos que pertenecen a la clase B pero no fueron clasificados en esa clase.

Clase C:

46 TP 2 FP 

4 FN 98 TN

TP. 46 objetos pertenecen a la clase C y fueron clasificados correctamente en la clase C.

  

TN. 98 objetos no pertenecen a la clase C y no fueron clasificados en esta clase. FP. 2 objetos que no pertenecen a la clase C pero fueron clasificados en esa clase. FN. 4 objetos que si pertenecen a la clase C pero no fueron clasificados en esa clase.

EJEMPLO 2 DE MATRIZ DE CONFUSIÓN (3 X 3). EXTRAÍDA DE WEKA (IRIS).

PREDICCIÓN

REAL

A

B

C

A

49

1

0

B

0

47

3

C

0

5

45

Clase A: 50 TP 0 FP    

1 FN 100 TN

TP. 50 objetos pertenecen a la clase A y fueron clasificados correctamente en la clase A. TN. 100 objetos no pertenecen a la clase A y no fueron clasificados en esta clase. FP. 0 objetos que no pertenecen a la clase B no fueron clasificados en otras clases. FN. 1 objetos que no pertenecen a la clase A no fueron clasificados en esa clase.

o Métricas accuracy = (50+100)/(50+100+0+1) = 150/151= 0.9934 recall = 50/(50+1) = 50/51 = 0.9804 precision = 50/(50+0) = 50/50 = 1 F= 2(50) / (2(50)+0+1) = 100/101 = 0.9901

Clase B: 47 TP 5 FP    

3 FN 45 TN

TP. 47 objetos pertenecen a la clase B y fueron clasificados correctamente en la clase A. TN. 45 objetos no pertenecen a la clase B y no fueron clasificados en esta clase. FP. 5 objetos que no pertenecen a la clase B fueron clasificados en esta clase. FN. 3 objetos que pertenecen a la clase B pero no fueron clasificados en esa clase.

o Métricas accuracy = (47+45)/(47+45+5+3) = 92/100= 0.92 recall = 47/(47+3) = 47/50 = 0.94 precision = 47/(47+5) = 47/52= 0.9038 F= 2(47) / (2(47)+5+3) = 94/102 = 0.9216

Clase C:

45 TP 3 FP    

5 FN 96 TN

TP. 45 objetos pertenecen a la clase C y fueron clasificados correctamente en la clase C. TN. 96 objetos no pertenecen a la clase C y no fueron clasificados en esta clase. FP. 3 objetos que no pertenecen a la clase C pero fueron clasificados en esa clase. FN. 5 objetos que si pertenecen a la clase C pero no fueron clasificados en esa clase.

o Métricas accuracy = (45+96)/(45+96+3+5) = 141/149= 0.9463 recall = 45/(45+5) = 45/50 = 0.9 precision = 45/(45+3) = 45/48= 0.9375 F= 2(45) / (2(45)+3+5) = 90/98 = 0.9184