Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Regresi on Ridge
Una medida remedial a la multicolinealidad
Claudio Gaete O., Camila Soto R.
Universidad de Concepcion, Concepcion, Chile
Departamento de Ingeniera Matematica
June 19, 2014
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Introduccion
Cuando se tiene un modelo con multicolinealidad y se realiza
regresion por MCO, el estimador insesgado tiene un ECM muy
grande.
Pero se sabe que existe un estimador sesgado que posee un ECM
menor, es decir, mejora el estimador dado por MCO.
El estimador Ridge aten ua las observaciones.
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Regresi on Ridge
Error cuadratico medio del estimador mnimo cuadratico
ordinario:
ECM(
) =
2
p
i =1
1
i
Notar que si un valor propio es cercano a cero el ECM se hace
muy grande.
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Regresi on Ridge
La idea en regreson Ridge es encontrar un estimador
(k)
que
aunque sea sesgado sea mas corto que
, es decir,
ECM(
(k)
) < ECM(
)
Hoerl y Kennard, en 1970, propusieron el siguiente estimador:
(k)
= (X
X + kI )
1
X
Y = Z
Donde el parametro de encogimiento k (por lo general,
0 < k < 1) debe ser estimado de los datos tomados.
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Regresi on Ridge
Error cuadratico medio del estimador de Ridge:
ECM(
(k)
) =
2
p
i =1
i
(
i
+ k)
2
+
p
i =1
k
2
2
i
(
i
+ k)
2
donde
= V
y V una matriz de vectores propios de X
X
Notar que ninguno de los sumandos puede crecer por encima
de
i
k
2
.
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Usos de Trazas ridge
Otros criterios
Elecccion de k
Sabemos que existe un k (de hecho, un intervalo de valores de k)
mejorando el ECM del estimador MCO. En la practica, se recurre a
alguna o varias de las siguientes soluciones para estimar el valor k:
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Usos de Trazas ridge
Otros criterios
Usos de Trazas ridge
Se prueban diversos valores de k representandose las
diferentes estimaciones del vector
; se tiene entonces aquel
valor de k a partir del cual se estabilizan las estimaciones. El
decidir donde ocurre esto es bastante subjetivo.
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Usos de Trazas ridge
Otros criterios
Otros criterios
k
HKB
= (p 2)
2
/
k
LW
= (p 2)
2
traza(X
X)/(p
(X
X)
)
k
CV
= arg min
k
(
N
i =1
(y
i
y
(i ),k
))
2
)
Donde p es el rango de la matriz X
X y N es el numero de
observaciones
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Ejemplo
Para el ejemplo utilizaremos el conjunto de datos
macroeconomicos Longley altamente colineales.
Se tienen las siguientes variables:
[Link]: PIB deactor implcito del precio.
GNP: Producto Nacional Bruto
Unemployed: N umero de desempleados.
[Link]: N umero de personas en las fuerzas armadas.
Population: Poblacion mayor de 14 a nos de edad.
Year: A no.
Employed: N umero de personas empleadas.
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
En R
>library(MASS)
>data(longley)
>longley[1:3,]
[Link] GNP Unemployed [Link]
1947 83.0 234.3 235.6 159.0
1948 88.5 259.4 232.5 145.6
1949 88.2 258.1 368.2 161.6
Pop Year Employed
107.6 1947 60.32
108.6 1948 61.12
109.8 1949 60.17
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
>names(longley)[1] <- y
>model<-lm(y GNP+Unemployed+[Link]+Population+
Year+Employed, data=longley)
>summary(model)
Estimate Std. Error t value Pr(> |t|)
(Intercept) 2946.8564 5647.9766 0.52 0.6144
GNP 0.2635 0.1082 2.44 0.0376
Unemployed 0.0365 0.0302 1.21 0.2585
[Link] 0.0112 0.0155 0.72 0.4885
Population -1.7370 0.6738 -2.58 0.0298
Year -1.4188 2.9446 -0.48 0.6414
Employed 0.2313 1.3039 0.18 0.8631
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Residual standard error: 1.19 on 9 degrees of
freedom
Multiple R-squared: 0.993, Adjusted R-squared:
0.988
F-statistic: 203 on 6 and 9 DF, p-value: 4.43e-09
>1-1/vif(model)
GNP Unemployed [Link]
0.9992 0.9881 0.9177
Population Year Employed
0.9957 0.9995 0.9955
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
>[Link]<-[Link](y ., longley,lambda = seq(0,0.1,0.001))
>plot([Link])
>title(main=Trazas Ridge)
>select([Link])
modified HKB estimator is 0.006837
modified L-W estimator is 0.05267
smallest value of GCV at 0.006
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Trazas Ridge
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
>ridge.0.01<-[Link](y ., longley,lambda =0.01)
>ridge.0.01
GNP Unemployed [Link]
-9.045e+02 1.515e-01 1.617e-02 6.491e-03
Population Year Employed
-1.159e+00 5.519e-01 -3.140e-02
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
>model$coef
(Intercept) GNP Unemployed [Link]
2946.85636 0.26353 0.03648 0.01116
Population Year Employed
-1.73703 -1.41880 0.23129
Claudio Gaete O., Camila Soto R. Regresion Ridge
Introduccion
Regresion Ridge
Elecccion de k
Ejemplo
Gracias!
Claudio Gaete O., Camila Soto R. Regresion Ridge