Ingeniería en Confiabilidad 2

Profesor: Raymi Vásquez M.

Clase Nº4

REF: La mayoría de las slides fueron diseñadas por el profesor Enrique Lopez, Universidad de Chile
Contexto: Mantenimiento Predictivo basado en datos
C-MAPSS

REF: Damage Propagation Modeling for Aircraft Engine Run-to-Failure Simulation [23]
• Un problema de clasificación busca encontrar un modelo capaz
de identificar automáticamente para cada objeto la clase a la
cual pertenecen.

Buen estado

Mal estado
• Un algoritmo de agrupamiento (en inglés, clustering) es un
procedimiento de agrupación de una serie de datos de
acuerdo con un criterio usualmente de distancia o similitud.
 Extracción de Selección / reducción
parámetros de parámetros

Datos
Construcción de
indicadores de daño
 Predicción

Crear modelo y
entrenar
Set de Modelo
entrenamiento

Datos

Set de
validación

Evaluación
final
Modelo
Set de pruebas final
Componente
Adquisición de
Sub-Sistema Pre-Procesamiento
Datos
Sistema

Extracción de
Características

Aprendizaje de
Soporte a
Máquinas
Decisión
Selección
Características /
Reduc. Dim.

Detección
Pronóstico Diagnóstico
Anomalías

Despliegue
DIAGNÓSTICO Y PRONÓSTICO DE DAÑO
 IDENTIFICACIÓN DE DAÑO
• Se busca determinar el tipo de daño y su severidad. Esto se
puede realizar mediante algoritmos de clasificación.

• La clasificación puede ser:

– No hay daño o hay daño
– No hay daño, hay daño tipo 1, hay daño tipo 2,…
– No hay daño, hay daño tamaño 1, hay daño tamaño 2,…
MÉTRICAS DE EVALUACIÓN MULTI-CLASE
• Las métricas típicas que se utilizan en la multi-clase son las
mismas que se utilizan en el caso de la clasificación binaria

• La métrica se calcula para cada clase al procesarla como un

problema de clasificación binaria después de agrupar todas las
otras clases como pertenecientes a la segunda clase
 EJEMPLO
Real: A A A A C C C B BB
Predicho: A B A B C C C A BB

Predicho

Real
 EJEMPLO
Clase Precisión Sensibilidad F1-score
A 0.67 0.50 0.57
B 0.50 0.67 0.57
C 1.00 1.00 1.00

Sensibilidad
7
Exactidud = = 0.7
10

Precisión
 ALGORITMOS DE CLASIFICACIÓN
• Arboles de Decisión

• Random Forest

• Máquinas de Soporte Vectorial

 ÁRBOLES DE DECISIÓN
• Un árbol de decisión es una estructura similar a un
diagrama de flujo:
– Un nodo interno representa una característica (o atributo)
– La rama representa una regla de decisión
– Cada nodo hoja (leaf) representa el resultado
 ÁRBOLES DE DECISIÓN
Outlook Temperature Humidity Windy Play Golf
Rainy Hot High False No
Rainy Hot High True No
Overcoast Hot High False Yes
Sunny Mild High False Yes
Sunny Cool Normal False Yes
Sunny Cool Normal True No
Overcoast Cool Normal True Yes
Rainy Mild High False No
Rainy Cool Normal False Yes
Sunny Mild Normal False Yes
Rainy Mild Normal True Yes
Overcoast Mild High True Yes
Overcoast Hot Normal False Yes
Sunny Mild High True No
 ÁRBOLES DE DECISIÓN
Outlook Humidity

Sunny Overcoast Rainy Normal High

Play Golf Play Golf Play Golf Play Golf Play Golf
Yes: 2 , No: 2 Yes: 4 , No: 0 Yes: 2, No: 3 Yes: 6 , No: 1 Yes: 3 , No: 4

Temperature Windy

Hot Mild Cool True False

Play Golf Play Golf Play Golf Play Golf Play Golf
Yes: 2 , No: 2 Yes: 4 , No: 2 Yes: 3, No: 1 Yes: 2 , No: 3 Yes: 6 , No: 2

• Lo ideal sería encontrar una pregunta que separe complemente las

clases:

• ¿Como podemos medir si una pregunta hace una mejor separación de clases
que otra?
MEDIDAS DE SELECCIÓN DE ATRIBUTOS
• Las medidas de selección de atributos (ASM por sus siglas en
inglés) permiten seleccionar el parámetro que divide los datos
de la mejor manera posible

• Se hace a través de un ranking entre los distintos parámetros

• En el caso de un parámetro de valor continuo, también se debe

definir el valor para dividir las ramas

• Las medidas de selección más populares son ganancia de

información e índice de Gini
 𝑝 𝑠𝑢𝑛𝑛𝑦 −𝑝 𝑦 𝑠𝑢𝑛𝑛𝑦 log2 𝑝 𝑦 𝑠𝑢𝑛𝑛𝑦 − 𝑝 𝑛 𝑠𝑢𝑛𝑛𝑦 log2 𝑝 𝑛 𝑠𝑢𝑛𝑛𝑦 +
+ 𝑝 𝑜𝑣𝑒𝑟𝑐𝑎𝑠𝑡 −𝑝 𝑦 𝑜𝑣𝑒𝑟𝑐𝑎𝑠𝑡 log2 𝑝 𝑦 𝑜𝑣𝑒𝑟𝑐𝑎𝑠𝑡 − 𝑝 𝑛 𝑜𝑣𝑒𝑟𝑐𝑎𝑠𝑡 log2 𝑝 𝑛 𝑜𝑣𝑒𝑟𝑐𝑎𝑠𝑡 +
+ 𝑝 𝑟𝑎𝑖𝑛𝑦 −𝑝 𝑦 𝑟𝑎𝑖𝑛𝑦 log2 𝑝 𝑦 𝑟𝑎𝑖𝑛𝑦 − 𝑝 𝑛 𝑟𝑎𝑖𝑛𝑦 log2 𝑝 𝑛 𝑟𝑎𝑖𝑛𝑦 =

5 3 3 2 2 4 4 4 0 0
= − log2 − log2 + − log2 − log2 +
14 5 5 5 5 4 14
4 4 4
5 2 2 3 3 5 5 5
+ − log 2 − log 2 = 0.442 + 0.529 + 0 + 0.529 + 0.442 =
14 5 5 5 5 14 14 14

= 0.347 + 0 + 0.347 = 𝟎. 𝟔𝟗𝟒

 GANANCIA DE INFORMACIÓN
• La ganancia de información se basa en la disminución de la
entropía después de que un conjunto de datos se divide en un
atributo

• La construcción de un árbol de decisión consiste en encontrar

un atributo que devuelva la mayor ganancia de información:
– Las ramas más homogéneas
GANANCIA DE INFORMACIÓN
 GANANCIA DE LA INFORMACIÓN
• Se selecciona el parámetro con la mayor ganancia
• El proceso se repite en cada rama hasta llegar a entropía 0
(hoja) o se alcanza una profundidad predeterminada
GANANCIA DE LA INFORMACIÓN
Outlook

Sunny Overcast Rainy

Windy Yes Humidity

False True High Normal

Yes No No Yes
 ÍNDICE DE DIVERSIDAD DE GINI
• El índice de Gini también mide la homogeneidad de un
conjunto

• Un mayor índice implica menos homogeneidad:

𝐴𝑖: atributo para ramificar el árbol

𝑀𝑖: número de valores diferentes del atributo 𝐴𝑖
𝑝(𝐴𝑖j): probabilidad de que 𝐴𝑖 tome su 𝑗-ésimo valor (1 ≤ 𝑗 ≤ 𝑀𝑖 )
𝑝(𝐶𝑘|𝐴𝑖j): probabilidad de que un ejemplo (muestra)
pertenezca a la clase 𝐶𝑘 cuando su atributo 𝐴𝑖
toma su 𝑗-ésimo valor
A1 = Sunny P(A1) = 5/14 = 0.36
A2 = Overcoast P(A2) = 4/14 = 0.29
A3 = Rainy P(A3) = 5/14 = 0.36

Gini(Sunny) = 1 - (3/5)2 - (2/5)2 = 0.48

Gini(Overcoast) = 1 - (4/4)2 - (0/4)2 = 0
Gini(Rainy) = 1 - (2/5)2 - (3/5)2 = 0.48

Gini(Outlook) = 0.36*0.48 + 0.29*0 + 0.36*0.48 = 0.34

• Se selecciona el parámetro con el menor índice de Gini

Gini=0.34 Gini=0.44

Gini=0.37 Gini=0.43
• Simplicidad e interpretabilidad:
• Son fáciles de entender e interpretar
• La representación visual refleja fielmente los procesos de toma
de decisiones humanos

• Versatilidad:
• Se pueden utilizar tanto para tareas de clasificación como de
regresión

• Sin necesidad de escalado de características:

• No requieren normalización ni escalado de los datos

• Maneja relaciones no lineales:

• Son capaces de capturar relaciones no lineales entre
características y variables objetivo
• Sobreajuste:
• Pueden sobreajustarse fácilmente a los datos de
entrenamiento, especialmente si son profundos y tienen
muchos nodos

• Inestabilidad:
• Pequeñas variaciones en los datos pueden generar un árbol
completamente diferente

• Sesgo hacia las características con más niveles:

• Las características con más niveles pueden dominar la
estructura del árbol
• Se utilizan técnicas de poda para superar el sobreajuste

• La poda reduce el tamaño del árbol eliminando nodos que

proporcionan poca potencia para clasificar instancias

• Tipos principales de poda:

• Prepoda (detención temprana): detiene el crecimiento del
árbol una vez que cumple ciertos criterios (p. ej., profundidad
máxima, número mínimo de muestras por hoja)
• Poda posterior: elimina ramas de un árbol completamente
desarrollado que no proporcionan una potencia significativa
• También conocido en castellano como “Bosque Aleatorio” es
una combinación de árboles de decisión:
– Ensemble of decision trees: ensamblaje de árboles de decisión
 RANDOM FOREST
• Cada árbol es entrenado con un sub-conjunto de los datos de
entrenamiento
– Bootstrap aggregating o Bagging method: random sample of data
with replacement
 RANDOM FOREST
• Selección aleatoria de parámetros: la división seleccionada es
la mejor solamente entre un sub-conjunto aleatorio de los
parámetros:
– Feature randomness: genera un subconjunto aleatorio de
características, lo que garantiza una baja correlación entre los
árboles de decisión

– Luego los árboles de decisión consideran todas las posibles

divisiones de características

– Pero, los bosques aleatorios solo seleccionan un subconjunto de

esas características

– Al tener en cuenta toda la variabilidad potencial de los datos,

podemos reducir el riesgo de sobreajuste, sesgo y variación
general, lo que da como resultado predicciones más precisas
 RANDOM FOREST
• Ensambles en aprendizaje de máquinas usan dos estrategias:
 RANDOM FOREST
• Como resultado, cada árbol de decisión es ligeramente
diferente al resto

• Para la predicción de un nuevo dato, este es clasificado por

cada árbol de decisión

• Predicción:
– Clasificación: la clase que se repita más veces es la predicción
del bosque (majority vote)
– Regresión: se toma el promedio de los árboles de decisión
RANDOM FOREST – VENTAJAS
• Riesgo reducido de sobreajuste:
– Cuando hay una cantidad considerable de árboles de decisión en
un bosque aleatorio, el clasificador en general no sobreajustará el
modelo
– Eso se debe a que el promedio de árboles no correlacionados
reduce la varianza general y el error de predicción

• Proporciona flexibilidad:
– Bosques aleatorios pueden manejar tareas de regresión y
clasificación con un alto grado de precisión
– La clasificación de bosque aleatorio también hace que el
clasificador de bosque aleatorio sea una herramienta eficaz para
estimar valores faltantes, ya que mantiene la precisión cuando
falta una parte de los datos
RANDOM FOREST – VENTAJAS

• Fácil determinación de la importancia de las características:

– El bosque aleatorio facilita la evaluación de la importancia de las
variables, o su contribución, al modelo
 RANDOM FOREST – DESVENTAJAS
• Consume mucho tiempo:
– Dado que los algoritmos de bosque aleatorio pueden manejar
grandes conjuntos de datos, pueden proporcionar predicciones
más precisas, pero pueden ser lentos para procesar los datos, ya
que están computando datos para cada árbol de decisión
individual

• Requiere más recursos:

– Dado que los bosques aleatorios procesan conjuntos de datos
más grandes, requerirán más recursos para almacenar esos datos

• Más complejo:
– La predicción de un solo árbol de decisión es más fácil de
interpretar en comparación con un bosque de ellos