Resumen Machine Learning
¿Que tipo de modelos existen en machine learning, y que trade-off existe entre sesgo y varianza?
Bias (SESGO)
El error debido al Bias de un modelo es simplemente la diferencia entre el valor esperado del estimador (es decir, la predicción
media del modelo) y el valor real. Cuando se dice que un modelo tiene un bias muy alto quiere decir que el modelo es muy
simple y no se ha ajustado a los datos de entrenamiento (suele ser underfitting), por lo que produce un error alto en todas las
muestras: entrenamiento, validación y test.
Variance
Esta es de sentido común. La varianza de un estimador es cuánto varía la predicción según los datos que utilicemos para el
entrenamiento.
Como bien sabemos, la mayoría de algoritmos de Machine Learning aprenden según van entrando datos de entrenamiento. Así
que es normal que todos los modelos tengan cierta varianza. Aunque si creamos un modelo robusto, debería aprender las
relaciones entre las variables y el target.
Entonces, lo que se saca de esto es lo siguiente:
Un modelo con varianza baja indica que cambiar los datos de entrenamiento produce cambios pequeños en la
estimación.
Al contrario, un modelo con varianza alta quiere decir que pequeños cambios en el dataset conlleva a grandes
cambios en el output (suele ser overfitting).
Los algoritmos que suelen tener un error de bias alto suelen tener una varianza baja. A su vez, los que tienen bias bajo suelen
tener varianza alta.
¿ Qué es el tradeoff bias vs variance ? Lo óptimo que queremos tener, es un modelo que tenga poco bias y poca
varianza. Esto es lo que se llamaría un modelo robusto.
El problema viene cuando no tenemos un modelo robusto y queremos mejorar uno de estos errores. Aquí se encuentra el
tradeoff.
Disminuir la varianza implica aumentar el bias - Disminuir el bias hacer que la varianza aumente.
Esto se explica porque un modelo con bias es un modelo sencillo. Un modelo con varianza es un modelo complejo. Y , por lo
menos yo, creo que es imposible que un modelo sea sencillo y complejo a la vez.
Encontrando el balance perfecto
Un modelo predictivo bueno será el que tenga un buen balance entre bias y varianza de manera que se minimice el error total:
Error Total = Bias2 + Varianza + Error Irreducible
BUSCAR VARIABLES QUE TENGAS MENOR ECME Y CALCULAR
Utilizar la formula y usar el que menor ECME tenga
Ejemplo de clase:
K Sesgo Varianza ECME
1 7 10 7^2+10: 59
2 4 20 4^2+20: 36
3 2 40 2^2+40:44
Nos quedamos con el modelo 2 que tiene un menor ECME minimo
¿Que pasa cuando k tiende a Infinito y a 0?
Rt: Si k tiende a 0 da 1
Si k tiende a infinito da 0
EXPLICAR COMO ES EL MODELO KFOLDS
K-Fold Cross-Validation
El método K-Fold Cross-Validation es también un proceso iterativo. Consiste en dividir los datos de forma aleatoria
en kgrupos de aproximadamente el mismo tamaño, k-1 grupos se emplean para entrenar el modelo y uno de los
grupos se emplea como validación. Este proceso se repite k veces utilizando un grupo distinto como validación en
cada iteración. El proceso genera k estimaciones del error cuyo promedio se emplea como estimación final.
EXPLICAR MODELO KNN
El algoritmo de k vecinos más cercanos, también conocido como KNN o k-NN, es un clasificador de aprendizaje supervisado no
paramétrico, que utiliza la proximidad para hacer clasificaciones o predicciones sobre la agrupación de un punto de datos individual.
Si bien se puede usar para problemas de regresión o clasificación, generalmente se usa como un algoritmo de clasificación,
partiendo de la suposición de que se pueden encontrar puntos similares cerca uno del otro.
Para los problemas de clasificación, se asigna una etiqueta de clase sobre la base de un voto mayoritario, es decir, se utiliza la
etiqueta que se representa con más frecuencia alrededor de un punto de datos determinado.