Machine Learning
Optimización de Modelos y el Dilema Bias-Variance
Ph.D. Miguel Angel Paco Escobar
El objetivo de la generalización
La meta fundamental del aprendizaje
supervisado es que el modelo generalice,
es decir, que realice predicciones
precisas sobre datos nuevos que no se
utilizaron durante el entrenamiento.
• Error de generalización total, de
cualquier modelo se descompone de
tres elementos: cuadrado del sesgo
(bias), varianza y el error irreducible
(ruido intrínseco en los datos).
Generalization Error = Bias Error +
Variance Error + Irreducible Error
Underfitting y el Sesgo (Bias)
El subajuste o underfitting ocurre cuando un modelo es demasiado
simple para capturar la estructura subyacente y las regularidades
de los datos.
El sesgo representa el error resultante de suposiciones incorrectas
o simplistas en el algoritmo, como intentar ajustar una línea recta a
datos que claramente siguen un patrón curvo.
Un modelo con alto sesgo ignora relaciones relevantes entre las
características y el objetivo, lo que resulta en una baja precisión
tanto en el entrenamiento como en las pruebas.
Underfitting
Overfitting y la Varianza (Variance)
El overfitting sucede cuando el modelo es excesivamente
complejo y captura no solo el patrón real, sino también el ruido y
las fluctuaciones aleatorias del entrenamiento.
Varianza (Variance): Es la sensibilidad del modelo a pequeñas
variaciones en el conjunto de entrenamiento. Un modelo con alta
varianza cambia drásticamente sus predicciones ante cambios
mínimos en los datos de entrada.
Síntomas: Error muy bajo o precisión perfecta en el entrenamiento,
pero un error elevado en el conjunto de prueba.
Overfitting
El compromiso Bias-Variance (Trade-off)
• Existe una Relación Inversa entre Bias y Varianza; a medida que
se aumenta la complejidad del modelo, el sesgo disminuye pero
la varianza tiende a aumentar, y viceversa.
• Punto Óptimo: El "punto dulce" es el nivel de complejidad donde
el error total es mínimo, equilibrando la capacidad de aprendizaje
con la capacidad de generalización
El compromiso Bias-Variance (Trade-off)
Estrategias de mitigación avanzada
• Regularización (L1/L2): Añade una penalización a la función de
pérdida para controlar la magnitud de los parámetros, lo que
reduce la varianza al simplificar el modelo.
• Early Stopping: Detiene el entrenamiento en redes neuronales en
el momento exacto en que el error de validación comienza a subir,
evitando que el modelo aprenda el ruido.
• Ensembles (Bagging/Boosting): Combinar múltiples modelos de
alta varianza (como árboles de decisión) reduce la varianza total
mediante el promedio de sus predicciones.
• Validación Cruzada: El uso de K-Fold permite evaluar la robustez
del modelo y detectar el sobreajuste de manera sistemática.
Estrategias de mitigación y control avanzada
Segmentación de datasets
• La segmentación de datasets es fundamental para evaluar si un
modelo puede generalizar a datos nuevos en lugar de
simplemente memorizar el ruido del conjunto de entrenamiento,
fenómeno conocido como overfitting. Aquí se presenta las
estrategias principales:
Segmentación de datasets (cont)
1. Train-Test Split (División Simple)
Es la técnica más común y consiste en dividir los datos
aleatoriamente en dos partes.
• Conjunto de Entrenamiento (Training Set): Se usa para ajustar los
parámetros del modelo (normalmente el 70% u 80% de los datos).
• Conjunto de Prueba (Test Set): Se usa para medir la precisión en datos
que el modelo nunca ha visto antes; 30% u 20% respectivamente.
Segmentación de datasets (cont)
2. División de Tres sets (Train, Validation, Test)
Si usas el conjunto de prueba para ajustar configuraciones
llamadas "hiperparámetros", corres el riesgo de que la información
se "filtre" y el modelo se sobreajuste a ese conjunto específico.
• Conjunto de Validación (Dev Set): Actúa como un paso
intermedio para tunear los hiperparámetros y seleccionar el mejor
modelo antes de la evaluación final.
• Proporción común: Una regla de oro común es usar 80% para
entrenamiento, 10% para validación y 10% para prueba.
Segmentación de datasets (cont)
3. Validación Cruzada de K-Folds (K-Fold Cross-Validation)
Es un método estadístico más estable y exhaustivo que una
división única.
• Proceso: El dataset se particiona en K partes (usualmente 5 o 10). Se
entrena el modelo K veces, usando cada vez una parte distinta como
validación y las restantes K−1 como entrenamiento.
• Beneficio: Asegura que cada dato sea parte del conjunto de prueba
exactamente una vez, lo que reduce la varianza en la estimación del
rendimiento.