RANDOM FOREST:
UN MODELO DE
ENSAMBLE
Introducción
Random Forest, o "Bosque Aleatorio", es un modelo de ensamble que combina
múltiples árboles de decisión para mejorar la precisión de las predicciones. Cada
árbol es entrenado con diferentes muestras del conjunto de datos y selecciona
variables de forma aleatoria, lo que crea una gran cantidad de árboles no
correlacionados. Al promediar los resultados de estos árboles, el modelo reduce la
posibilidad de error.
¿Cómo funciona?
1. Muestreo Aleatorio: Cada árbol se entrena con una muestra aleatoria del
conjunto de datos.
2. Selección de Variables: En cada división de un árbol, se elige un
subconjunto aleatorio de variables.
3. Predicción Final: Para clasificar un caso, cada árbol "vota" por una clase, y
la clase con más votos es la predicción final.
¿Para qué se utiliza?
Random Forest es ideal para tareas de clasificación y regresión debido a su
capacidad para manejar datos complejos, grandes volúmenes y situaciones con
ruido. Sus aplicaciones principales son:
● Clasificación: Categoriza datos en clases específicas, utilizado en:
○ Clasificación de imágenes y patrones.
○ Diagnóstico médico para identificar enfermedades.
○ Detección de fraudes en transacciones.
● Regresión: Predice valores continuos, como:
○ Estimación de precios de viviendas.
○ Predicción de ventas y demanda en comercio.
● Selección de Características: Identifica las variables más relevantes, útil en:
○ Biología y genética para analizar factores influyentes.
○ Análisis de mercado para entender el comportamiento del cliente.
● Manejo de Datos Faltantes: Estima valores faltantes en conjuntos de datos
incompletos.
● Sistemas de Recomendación: Predice preferencias y sugiere
recomendaciones personalizadas.
Gracias a su estructura de ensamble, Random Forest produce predicciones precisas
y es menos propenso al sobreajuste comparado con otros modelos supervisados.
Modelo de Ensamble
Random Forest es un modelo de ensamble versátil, aplicable en problemas de
regresión y clasificación. Como modelo de ensamble, combina múltiples árboles de
decisión y mejora el rendimiento general al promediar sus resultados, logrando una
precisión superior frente a modelos individuales.
Ventajas
● Alta precisión, especialmente en grandes conjuntos de datos.
● Puede manejar cientos de variables sin excluir ninguna.
● Proporciona estimaciones sobre la importancia de cada variable.
● Maneja bien los valores perdidos y es robusto frente al ruido en los datos.
Desventajas
● Puede sobreajustarse en conjuntos de datos con ruido.
● Es más difícil de interpretar en comparación con un único árbol de decisión.
● Si hay variables categóricas con diferentes niveles, puede tener sesgos hacia
aquellas con más niveles.
¿Qué son los Hiperparámetros?
Los hiperparámetros son configuraciones externas al modelo que se definen antes
del entrenamiento y que influyen en cómo aprende y su estructura, afectando
directamente el desempeño y tiempo de entrenamiento. A diferencia de los
parámetros, que el modelo ajusta con los datos, los hiperparámetros se establecen
manualmente. Ejemplos incluyen la tasa de aprendizaje, el número de neuronas en
redes neuronales o la cantidad de árboles en un Random Forest.
Hiperparámetros en Random Forest
En Random Forest, los hiperparámetros clave, como el número de árboles
(n_estimators) y la profundidad máxima de los árboles (max_depth), determinan la
complejidad del modelo y su capacidad de adaptación. Otros hiperparámetros, como
min_samples_split y min_samples_leaf, ayudan a prevenir el sobreajuste.
El ajuste de hiperparámetros es esencial para optimizar el rendimiento del modelo y
se realiza probando diversas combinaciones para encontrar el equilibrio adecuado
entre precisión y generalización.
Principales Hiperparámetros en Random Forest
1. n_estimators: Número de árboles en el bosque. Un mayor número de
árboles mejora la precisión, pero incrementa el tiempo de entrenamiento.
2. max_depth: Profundidad máxima de cada árbol. Limitar esta profundidad
evita el sobreajuste.
3. min_samples_split: Mínimo de muestras para dividir un nodo, ayuda a
controlar la especificidad de los árboles.
4. min_samples_leaf: Mínimo de muestras en una hoja final, promoviendo
generalización.
5. max_features: Número de variables consideradas en cada división,
reduciendo la probabilidad de sesgo y mejorando la eficiencia.
6. bootstrap: Indica si el muestreo se realiza con reemplazo; favorece la
diversidad de los árboles.
Hiperparámetros Adicionales
7. criterion: Define la métrica de división, como “gini” o “entropy”.
8. max_samples: Limita el tamaño de las muestras para reducir el tiempo de
entrenamiento.
Consejos para Ajustar Hiperparámetros
Empieza ajustando n_estimators para equilibrar precisión y tiempo, y luego
modifica max_depth, min_samples_split y min_samples_leaf para controlar el
sobreajuste. Usa herramientas como GridSearchCV o RandomizedSearchCV en
Python para optimizar estos hiperparámetros.
Regresión en Random Forest
En tareas de regresión, Random Forest predice valores continuos promediando las
predicciones de todos los árboles en el modelo. Este enfoque permite obtener
estimaciones robustas incluso en conjuntos de datos con ruido o valores atípicos, ya
que combina múltiples predicciones en lugar de depender de una sola.
Regularización en Random Forest
Random Forest incorpora una forma implícita de regularización a través de varios
mecanismos:
● Promediado de Predicciones: Ayuda a reducir el riesgo de sobreajuste al
promediar resultados de varios árboles.
● Selección Aleatoria de Características: Disminuye la correlación entre los
árboles, mejorando la generalización.
● Hiperparámetros de Regularización: Limitar la profundidad y el tamaño de
los nodos contribuye a evitar el sobreajuste.
Ejemplo en Google Colab:
Explicación de cada paso:
1. Cargar el dataset: from [Link] import load_iris
2. Dividir el dataset: Dividir en conjuntos de entrenamiento y prueba.
3. Definir el modelo: RandomForestClassifier(n_estimators=100,
max_depth=3)
4. Entrenar el modelo: Entrenar con datos de entrenamiento.
5. Hacer predicciones: Realizar predicciones en el conjunto de prueba.
6. Evaluar el modelo: Calcular precisión y generar un informe de clasificación.