Tema 3

Aprendizaje Automático

Evaluación de algoritmos
de clasificación
 Índice
Esquema 3

Ideas clave 4
3.1. ¿Cómo estudiar este tema? 4
3.2. Algoritmos de clasificación 5
3.3. Métricas de evaluación: matriz de confusión 5
© Universidad Internacional de La Rioja (UNIR)

3.4. Métricas de evaluación: curvas ROC, AUC 13

Lo + recomendado 17

+ Información 19

Test 21
 © Universidad Internacional de La Rioja (UNIR)

Algoritmos de clasificación

Métricas de algoritmos de
Clasificación binaria Clasificación multiclase
clasificación

Matriz de confusión Curvas ROC

▶ Precisión

▶ Recall

▶ Acurracy

▶ Sensivity

▶ Specificity

▶ F-mesure

Aprendizaje Automático
Tema 3. Esquema
Esquema

3
 Ideas clave

3.1. ¿Cómo estudiar este tema?

Estudia este tema a través de las Ideas clave disponibles a continuación.

E
n este tema veremos los algoritmos de clasificación, los cuales son un tipo
de algoritmos de aprendizaje supervisado donde la variable a predecir es
categórica.

 En primer lugar, se verán las diferencias entre un problema de clasificación binaria

y un problema de clasificación multiclase. Un ejemplo de clasificador binario sería
un algoritmo para determinar la probabilidad de que un mensaje de correo
electrónico sea spam y no spam; o por ejemplo un algoritmo para predecir el
impago de un crédito bancario. Por otro lado, un ejemplo de clasificador
multiclase puede ser un algoritmo que busque predecir en qué país de doce
posibles un cliente va a realizar la siguiente reserva.

Este tipo de algoritmos de aprendizaje supervisado tienen la ventaja competitiva de

poder adelantarte a situaciones futuras de la forma más adecuadas y gestionarlas
mejor.

Cualquier evaluación corre el riesgo de ser subjetiva, por tanto, es necesario

establecer los criterios de evaluación más objetivos y rigurosos posibles. Por tanto, a
continuación, se describen las diferentes métricas de evaluación de los algoritmos de
© Universidad Internacional de La Rioja (UNIR)

clasificación más utilizadas.

Aprendizaje Automático
4
Tema 3. Ideas clave
 3.2. Algoritmos de clasificación

D
entro del aprendizaje supervisado, a continuación de los algoritmos de
regresión, el siguiente gran grupo de algoritmos son los de clasificación.
A diferencia de los algoritmos de regresión cuyo objetivo es predecir un
valor numérico, los algoritmos de clasificación tienen como objetivo obtener la clase
más probable para cada una de las instancias.

Este tipo de técnicas pueden utilizarse para predecir o estimar la probabilidad de

pertenencia a una clase de entre dos posibles, lo que se conoce como clasificación
binaria. Por otro lado, también se pueden utilizar para predecir o estimar la
probabilidad de pertenencia de una clase de entre varias posibles (más de dos), lo
cual se conoce como clasificación multiclase.

A continuación, veremos las métricas de evaluación que se utilizan centrándonos en

la matriz de confusión, precisión/recall, accuracy/sensitivity y f-measure.
Posteriormente, veremos las curvas ROC y la métrica de área bajo la curva.

Dentro del aprendizaje supervisado los algoritmos de clasificación se utilizan

para obtener la clase o categoría más probable de entre dos o más posibles.

3.3. Métricas de evaluación: matriz de confusión

L
a mejor métrica de rendimiento de un algoritmo de clasificación es ver si el
clasificador tiene éxito para su propósito. Para evaluar un clasificador se
© Universidad Internacional de La Rioja (UNIR)

pueden utilizar los valores predichos de las clases, los valores reales de las
clases o bien la probabilidad estimada de la predicción.

Aprendizaje Automático
5
Tema 3. Ideas clave
 En la práctica lo habitual es mantener dos vectores de datos. Por un lado, un vector
que contiene la verdad o los valores observados y otro vector que contiene los valores
predichos o estimados. Es importante resaltar que ambos vectores deben tener el
mismo tamaño y los datos en el mismo orden. En este tipo de algoritmos de
aprendizaje supervisado la clase verdadera se conoce de antemano y esta variable se
utiliza para evaluar el algoritmo en el conjunto de test comparándola con el resultado
predicho.

Es decir, los valores predichos se obtienen por medio de la aplicación de un modelo

sobre el conjunto de test, el cual ha sido entrenado previamente con datos de
entrenamiento.

En la mayoría de los paquetes del lenguaje R, esto se realiza por medio de invocar a
la función predict() sobre un objeto que es el resultado de un modelo entrenado
previamente y sobre un conjunto o [Link] de test. Ejemplo:

pred_valores <- predict(my_model test_data)

La función predic t() tiene parámetros para indicar el tipo de predicción,

normalmente se utiliza el valor prob para obtener la probabilidad de pertenencia a
cada una de las clases.

Incluso en el caso de los clasificadores binarios, que realizan la predicción de una clase
en función de dos posibles categorías, es muy útil conocer con que certeza o
confianza se predice cada una de las clases.

Por ejemplo, un mensaje de correo electrónico puede ser predicho como spam con
© Universidad Internacional de La Rioja (UNIR)

una probabilidad de 0,9 o de 0,59, etc. De forma general si dos algoritmos de

clasificación diferentes producen los mismos errores, pero uno de ellos es más capaz
de tener en cuenta la incertidumbre, sería un mejor modelo. Por tanto, para evaluar
correctamente el resultado de un clasificador es necesario considerar el valor de
probabilidad obtenido en lugar de utilizar únicamente la clase más probable.

Aprendizaje Automático
6
Tema 3. Ideas clave
 En resumen, el objetivo es obtener modelos que tienen mucha confianza en las
predicciones correctas y sean temerosos en las predicciones dudosas. Este balance
entre confianza y prudencia es la clave de la evaluación de modelos.

Ejemplo. Clasificación binaria

En la siguiente tabla se muestra la distribución de

probabilidad obtenida para cada una de las dos clases en
un problema de clasificación binaria. En este caso es
importante tener claro que indica la clase yes y la clase no,
por ejemplo, la clase yes puede indicar que el cliente ha
realizado un impago de su crédito o por el contrario que el
cliente ha realizado un pago con éxito del crédito. Por regla
general, a la clase positiva (yes o 1 en este caso) se hace
corresponder con el evento interesante a predecir.

Es importante tener claro la definición de cada una de las

clases para no obtener conclusiones contradictorias.

Figura 1. Fuente: Brett, 2013.

Los valores anteriores son el resultado de la predicción, pero al tratarse de una

clasificación binaria se puede obtener solo uno de ellos, pues la suma de los dos
valores debe ser 1. A partir de esta probabilidad y aplicando un umbral o punto de
© Universidad Internacional de La Rioja (UNIR)

corte a partir del cual se establece que la predicción es de una clase o de otra, se
pueden realizar las evaluaciones correspondientes.

Aprendizaje Automático
7
Tema 3. Ideas clave
 Por ejemplo, en la siguiente tabla se muestran los resultados obtenidos de un modelo
de clasificación binaria donde la variable a predecir es si un correo electrónico es
spam o no. El primer ejemplo se ha predicho como ham puesto que tiene una
probabilidad de spam muy baja y en realidad era ham. El quinto ejemplo se ha
predicho como spam con una certeza muy alta pues tiene una probabilidad de 1 y en
realidad era spam.

Figura 2. Fuente: Brett, 2013.

En el ejemplo anterior, cuando los valores predichos son de la clase ham, los valores
de spam, son muy cercanos a 0 y por el contrario cuando los valores predichos son
spam este valor es 1. Este comportamiento sugiere que el modelo tiene mucha
confianza en sus clasificaciones.

En cualquier caso, lo habitual es que los clasificadores o los modelos tengan errores
y sus predicciones difieran del valor real, como por ejemplo en la siguiente tabla
donde todas las predicciones han sido ham y el valor real era spam.
© Universidad Internacional de La Rioja (UNIR)

Aprendizaje Automático
8
Tema 3. Ideas clave
 Figura 3. Fuente: Brett, 2013.

Sin embargo, en algunos casos las probabilidades con las que se ha asignado la clase
predicha no son muy extremas. Por ejemplo, la instancia 73 de la tabla anterior ha
sido asignada a la clase ham, pero tenía una probabilidad de 0,35 o 35 % de ser spam.

Estos ejemplos muestran errores puntuales o particulares, pero para saber si un

clasificador es útil se deben tener en cuenta métricas más completas sobre el
conjunto de datos completo.

En el caso de los algoritmos de clasificación una métrica muy común es la matriz de

confusión. Una matriz de confusión es una tabla que organiza las predicciones en
función de los valores reales de los datos. Una de las dimensiones de la tabla hace
referencia a la categoría de los valores predichos, la otra dimensión a las categorías
reales.

Las instancias clasificadas correctamente caen en la diagonal de la matriz. Los valores

fuera de la diagonal indican las instancias clasificadas incorrectamente, se trata de
predicciones incorrectas. Las métricas de rendimiento obtenidas con la matriz de
confusión se basan en cuantas instancias caen dentro y fuera de la diagonal. La
© Universidad Internacional de La Rioja (UNIR)

mayoría de las métricas de rendimiento consideran la capacidad que tiene un

clasificador de discernir una categoría respecto de las demás. La categoría de interés
se conoce como clase positiva, mientas que las otras categorías se conocen como
clase negativa.

Aprendizaje Automático
9
Tema 3. Ideas clave
 En la siguiente imagen se muestra cómo se obtienen los cuatro valores de una matriz
de confusión para el caso de una clasificación binaria.

Tabla 1. Matriz de Confusión.

Fuente: [Link]

Cada uno de estos cuatro valores se pueden definir de la siguiente forma:

1. Tasa de verdaderos positivos (true positives): se trata de las clasificaciones

correctas de las instancias que corresponden a la clase positiva.
2. Tasa de falsos positivos (false positives): se trata de las clasificaciones de la clase
negativa que han sido incorrectamente clasificadas como clase positiva.
3. Tasa de verdaderos negativos (true negatives): se trata de las clasificaciones
correctas de las instancias que corresponden a la clase negativa.
4. Tasa de falsos negativos (false negatives): se trata de las clasificaciones de la clase
positiva que han sido incorrectamente clasificadas como clase negativa.
© Universidad Internacional de La Rioja (UNIR)

Aprendizaje Automático
10
Tema 3. Ideas clave
 Matriz de Confusión en R

Una forma sencilla de obtener la matriz de confusión utilizando el lenguaje de

programación R es por medio de la función table(), la cual devuelve las ocurrencias
de cada combinación de valores, por ejemplo:

Figura 4. Fuente: Brett, 2013.

Para obtener directamente las probabilidades se puede utilizar:

[Link](table(sms_results$actual_type, sms_results$predict_type),
margin = 2)

Por medio de la matriz de confusión se pueden obtener también las siguientes

métricas:

 Accuracy: esta métrica también se conoce como el ratio de éxito. Representa la

proporción del número de predicciones correctas entre el número total de
predicciones y se define así:

𝑇𝑇𝑇𝑇 + 𝑇𝑇𝑇𝑇
𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 =
𝑇𝑇𝑇𝑇 + 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 + 𝐹𝐹𝐹𝐹
© Universidad Internacional de La Rioja (UNIR)

 Sensivity/Specificity (sensibilidad/especificidad): una clasificación siempre

conlleva un balance entre ser conservador y agresivo. Por ejemplo, un sistema de
clasificación de spam podría eliminar todos los mensajes de spam a costa de
eliminar también los mensajes ham.

Aprendizaje Automático
11
Tema 3. Ideas clave
 Por otro lado, es necesario una garantía de que ningún mensaje ham sea
clasificado como spam. Este balance se captura con las métricas de sensibilidad y
especificidad.

La sensibilidad de un modelo es el ratio de los ejemplos positivos correctamente

clasificados. La especificidad de un modelo indica la proporción de los ejemplos
negativos correctamente clasificados.

Estas métricas tienen valores de o a 1, siendo 1 lo más deseable y se definen así:

𝑇𝑇𝑇𝑇
𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑖𝑖𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓 =
𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹

𝑇𝑇𝑇𝑇
𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 =
𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹

 Precision/recall: estas métricas hacen referencia a los compromisos hechos en la

clasificación. Se utilizan mucho en el campo de information retrieval e indican lo
interesantes y relevantes que son los resultados de un modelo.

La métrica de precisión también se conoce como positive predictive value (PPV) e

indica la proporción de ejemplos que son verdaderamente positivos. Es decir,
cuando el modelo predice la clase positiva, ¿cuántas veces está en lo cierto? Por
otro lado, la métrica de recall indica que tan completos son los resultados. La
métrica de recall equivale a la métrica de sensibilidad Un modelo con gran recall
captura un gran porcentaje de ejemplos positivos. La definición de ambas métricas
es la siguiente:
© Universidad Internacional de La Rioja (UNIR)

𝑇𝑇𝑇𝑇
𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 =
𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹

𝑇𝑇𝑇𝑇
𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 =
𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹

Aprendizaje Automático
12
Tema 3. Ideas clave
  F-measure: también conocida como F1, es una métrica que combina precisión y
recall utilizando la media armónica. Se utiliza la media armónica porque los valores
indican proporciones entre o y 1. Se utiliza con mucha frecuencia puesto que
simplifica el rendimiento de un algoritmo de clasificación a una única métrica. De
forma matemática se define así:

2 ∗ 𝑝𝑝𝑝𝑝𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 ∗ 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 2 ∗ 𝑇𝑇𝑇𝑇

𝐹𝐹1 = =
𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 + 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 2 ∗ 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 + 𝐹𝐹𝐹𝐹

La métrica por defecto asume que precisión y recall tienen la misma importancia,
pero es posible ponderarlos para darle mayor peso a uno u otro

A la hora de evaluar los algoritmos de clasificación es importante diferenciar

entre una clasificación binaria o multiclase. Una de las métricas más comunes
es la matriz de confusión que nos proporciona información acerca de los
aciertos y errores de cada una de las clases. A partir de la matriz de confusión
se pueden obtener métricas como acurracy, sensivity/specificity,
precisión/recall y f-measure.

3.4. Métricas de evaluación: curvas ROC, AUC

L
a clave de cualquier modelo de aprendizaje automático es su capacidad de
generalizar situaciones del futuro en función de los datos históricos
observados. Las métricas anteriores que se obtienen a partir de la matriz de
confusión conllevan que se establece un punto de corte determinado sobre la
distribución de probabilidad para determinar si una observación es clasificada como
© Universidad Internacional de La Rioja (UNIR)

una clase determinada. Es decir, por ejemplo, aquellos valores por encima de 0,5 se
les asigna la clase positiva (1) y aquellos valores iguales o por debajo de 0,5 la clase
negativa (0).

Aprendizaje Automático
13
Tema 3. Ideas clave
 En el caso de los algoritmos de clasificación binaria, se puede utilizar una métrica
obtenida a partir de las curvas receiver operating characteristic (ROC) conocida como
area under the curve (AUC) o en castellano área bajo la curva. Esta métrica se utiliza
para determinar el balance entre la detección de verdaderos positivos y evitar los
falsos positivos. Para ello, se muestra la proporción de detección de los verdaderos
positivos en el eje vertical y la proporción de los falsos positivos en el eje horizontal,
para un umbral o punto de corte determinado.

Los puntos a lo largo de la curva indican el ratio de los verdaderos positivos a medida
que se incrementan los valores de los falsos positivos. En la siguiente imagen se
muestra un ejemplo de cuatro curvas ROC distintas.

Figura 5. Ejemplo de una curva ROC.

© Universidad Internacional de La Rioja (UNIR)

Recuperado de: [Link]

Aprendizaje Automático
14
Tema 3. Ideas clave
 A medida que la curva este más cercana de la esquina superior izquierda, mejor será.
En el ejemplo, el clasificador de la curva naranja es mejor que el verde, y este mejor
que el rojo y el azul. Una clasificación completamente aleatoria coincide con la línea
punteada.

A partir de estas curvas se puede obtener el área bajo la curva. Esta métrica va desde
valores de 0,5 para un clasificador sin potencia predictiva (completamente aleatorio)
hasta 1 para un clasificador perfecto. Cuanto más cercanos están los resultados del
clasificador perfecto, mejor.

Es posible que para un mismo valor de AUC haya diferentes curvas ROC, por lo que
suele ser buena práctica mostrarlas de forma gráfica.

Visualizando el rendimiento en R

El paquete ROCR ([Link] proporciona una serie de

funciones para visualizar y entender el rendimiento de un clasificador.

Para crear visualizaciones con ROCR se necesitan dos vectores: uno con la clase real
de los valores predichos y otro con la probabilidad estimada de la clase positiva. Estos
valores se utilizan en la función prediction() que devuelve un objeto que se puede
utilizar para obtener métricas o visualizar el resultado. El siguiente código de ejemplo
muestra el uso:
© Universidad Internacional de La Rioja (UNIR)

Aprendizaje Automático
15
Tema 3. Ideas clave
 library(ROCR)
pred <- prediction(predictions =
pred_results$prob,
labels = pred_results$actual_value)
#Curva ROC
perf <- perfomance(pred, “tpr”, “fpr”)
plot(perf)

#Curva Precision-Recall
perf2 <- performance(pred, “prec”, “rec”)
plot(perf2)

#Curva sensivity-specificity
perf3 <- performance(pred, “sens”, “spec”)
plot(perf3)

En este vídeo se van a comentar y poner de relieve los principales métodos existentes
para la evaluación de los modelos de clasificación y por qué es importante realizar
esta evaluación.

Evaluación de algoritmos de clasificación.

Accede al vídeo a través del aula virtual

© Universidad Internacional de La Rioja (UNIR)

Aprendizaje Automático
16
Tema 3. Ideas clave
 Lo + recomendado

No dejes de leer

Performance Measures for Machine Learning

Cornell CIS. Computer Science. (s. f.) Performance Measures for Machine Learning.

Presentación de la Universidad de Cornell sobre métricas de rendimiento de los modelos

de aprendizaje automático.

Accede al artículo a través del aula virtual o desde la siguiente dirección web:
[Link]
© Universidad Internacional de La Rioja (UNIR)

Aprendizaje Automático
17
Tema 3. Lo + recomendado
 No dejes de ver

Performance Metrics Precision, Recall and F Score – Model Building and Validation

Métricas de rendimiento de los modelos de aprendizaje automático.

Accede al vídeo a través del aula virtual o desde la siguiente dirección web:
[Link]

Machine Learning: Testing and Error Metrics

Vídeo Tutorial sobre métricas de error y test.

© Universidad Internacional de La Rioja (UNIR)

Accede al vídeo a través del aula virtual o desde la siguiente dirección web:
[Link]

Aprendizaje Automático
18
Tema 3. Lo + recomendado
 + Información

A fondo

Top 15 Evaluation Metrics for Classification

Machine Learning Plus (30 septiembre de 2017). Top 15 Evaluation Metrics for
Classification [mensaje en un blog]

Descripción de las 15 métricas más importantes para la evaluación de algoritmos.

Accede al artículo a través del aula virtual o desde la siguiente dirección web:
[Link]

Webgrafía

Scikit Learn

Página web que describe ejemplos de precision y recall en Python.

© Universidad Internacional de La Rioja (UNIR)

Accede a la página web a través del aula virtual o desde la siguiente dirección web:
[Link]
[Link]/stable/auto_examples/model_selection/plot_precision_recall.html

Aprendizaje Automático
19
Tema 3. + Información
 Bibliografía

Brett, L. (2013). Machine Learning with R. Birmingham: Packt.

© Universidad Internacional de La Rioja (UNIR)

Aprendizaje Automático
20
Tema 3. + Información
 Test
1. Los algoritmos de clasificación tienen como objetivo:
A. Predecir la clase más probable de entre varias posibles.
B. Predecir la distribución de probabilidad de las clases de cada instancia.
C. Predecir un valor numérico como variable objetivo.

2. Dado dos clasificadores binarios si se equivocan en las clases más probables de las
mismas instancias
A. Son igual de buenos.
B. Si uno tiene una mayor incertidumbre que el otro es peor clasificador.

3. Cuáles de las siguientes métricas son utilizadas en los modelos de clasificación:

A. Precisión.
B. Recall.
C. MSE.
D. MAE.
E. F-measure.

4. Un matriz de confusión es:

A. Una tabla que organiza las predicciones en función de los valores reales de
los datos.
B. Una tabla que tiene las predicciones de los diferentes clasificadores.
C. Una tabla que contiene el valor real y el valor deseado.
© Universidad Internacional de La Rioja (UNIR)

Aprendizaje Automático
21
Tema 3. Test
 5. La métrica de accuracy:
A. Se conoce como el ratio de éxito.
B. Representa el número de predicciones correctas entre el total de
predicciones.
C. Ninguna de las anteriores es correcta.

6. Un modelo con gran valor de precisión:

A. Indica que la mayoría de las veces que se predice la clase negativa está en lo
cierto.
B. Indica que la mayoría de las veces que se predice la clase positiva está en lo
cierto.
C. Las dos anteriores son correctas.

7. Un modelo con gran valor de recall:

A. Captura un gran porcentaje de ejemplos negativos.
B. Captura un gran porcentaje de ejemplos positivos.
C. Las dos anteriores son correctas.

8. La métrica F1:
A. Se trata de una forma de calcular el AUC.
B. Combina precisión y recall.
C. Combina sensibilidad y especificidad.

9. El área bajo la curva (AUC):

A. Es un valor comprendido entre o y 1.
B. Es un valor comprendido entre 0 y 100.
C. Es un porcentaje entre o y 100 %.
© Universidad Internacional de La Rioja (UNIR)

10. La curva ROC mide:

A. El ratio de verdaderos positivos y falsos positivos.
B. El ratio de verdaderos positivos y falsos negativos.
C. El ratio de verdaderos negativos y falsos positivos.

Aprendizaje Automático
22
Tema 3. Test