Análisis de regresión y correlación Múltiple
Modelo de Regresión Lineal Múltiple
Se examina la influencia de 2 o más variables independientes
𝑦̂ = 𝑎 + 𝑏1 𝑥1 + 𝑏2 𝑥2 + 𝑏3 𝑥3 + ⋯ … . . + 𝑏𝑥 𝑥𝑥
𝑦̂ = 𝑏0 + 𝑏1 𝑥1 + 𝑏2 𝑥2 + 𝑏3 𝑥3 + ⋯ … . . + 𝑏𝑥 𝑥𝑥
Donde:
𝑥1 ; 𝑥2 ; 𝑥3 ; … . . ; 𝑥𝑥 𝑆𝑜𝑛 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒𝑠 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒𝑠
𝒂 𝑒𝑠 𝑒𝑙 𝑖𝑛𝑡𝑒𝑟𝑐𝑒𝑝𝑡𝑜
𝑏1 ; 𝑏2 ; 𝑏3 ; … . . ; 𝑏𝑥 𝑆𝑜𝑛 𝑙𝑜𝑠 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒𝑠 𝑑𝑒 𝑟𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛
El método de mínimos cuadradas MCO para calcular 𝑏1 ; 𝑏2 ; 𝑏3 ; … . . ; 𝑏𝑥 minimiza la
suma de los cuadrados de las desviaciones verticales con respecto a la línea recta. Lo
mismo se cumple para la regresión múltiple, la abundancia de cálculos resulta muy
tediosa.
Como por ejemplo para 2 variables independientes en necesario resolver 3 ecuaciones.
∑ 𝑦 = 𝑛𝑎 + 𝑏1 ∑ 𝑥1 + 𝑏2 ∑ 𝑥2
∑ 𝑥1 𝑦 = 𝑎 ∑ 𝑥1 + 𝑏1 ∑ 𝑥12 + 𝑏2 ∑ 𝑥1 𝑥2
∑ 𝑥2 𝑦 = 𝑎 ∑ 𝑥2 + 𝑏1 ∑ 𝑥1 𝑥2 + 𝑏2 ∑ 𝑥22
Error Estándar Múltiple de estimación o variabilidad en la predicción
Describe la variación con respecto a la línea de regresión. Un error estándar pequeño
indica que los puntos están cerca de tal recta, mientras que un valor grande indica que los
puntos están esparcidos alrededor de aquella, el mismo concepto es en la regresión
múltiple.
∑(𝑦𝑖 − 𝑦̂)2
𝑆𝑒 = √
𝑛 − (𝑘 + 1)
Donde:
𝒚𝒊 𝑒𝑠 𝑙𝑎 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑐𝑖ó𝑛.
̂ 𝑒𝑠 𝑒𝑙 𝑣𝑎𝑙𝑜𝑟 𝑒𝑠𝑡𝑖𝑚𝑎𝑑𝑜 𝑎 𝑝𝑎𝑟𝑡𝑖𝑟 𝑑𝑒 𝑙𝑎 𝑒𝑐𝑢𝑎𝑐𝑖ó𝑛 𝑑𝑒 𝑟𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛.
𝒚
𝒏 𝑒𝑠 𝑒𝑙 𝑛ú𝑚𝑒𝑟𝑜 𝑑𝑒 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑐𝑖𝑜𝑛𝑒𝑠 𝑒𝑛 𝑙𝑎 𝑚𝑢𝑒𝑠𝑡𝑟𝑎.
𝒌 𝑒𝑠 𝑒𝑙 𝑛ú𝑚𝑒𝑟𝑜 𝑑𝑒 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒𝑠 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒𝑠.
Para evaluar la ecuación de regresión, se puede trazar un diagrama de dispersión con cada
variable independiente
Matriz de correlación
Es útil para analizar los factores implicados en la variable dependiente.
La matriz contiene los coeficientes de correlación entre todos los pares de variables.
Se está particularmente interesado en las variables independientes que tienen un fuerte
correlación con la variable dependiente. La matriz de correlación ayuda a identificar
cuáles pueden ser relativamente más importantes.
Multicolinealidad
Correlación entre las variables independientes
Un método práctico común es que las correlaciones entre las variables independientes
entre -0.7 y 0.7 no ocasionan dificultad
El remedio usual para la multicolinealidad es eliminar una de las variables independientes
que están fuertemente correlacionadas y determinan la ecuación de regresión
Análisis de Varianza en la Regresión Múltiple
Análisis de varianza del modelo global
Puede efectuarse un análisis de varianza que permita evaluar la calidad de la ecuación de
regresión.
Una hipótesis útil que determina si el método explica una cantidad significativa de
variación es la siguiente:
𝐻0 : 𝛽1 = 𝛽2 = 𝛽3 = ⋯ … . . = 𝛽𝑘
= 0 𝑁𝑖𝑛𝑔𝑢𝑛𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒 𝑒𝑠 𝑖𝑚𝑝𝑜𝑟𝑡𝑎𝑛𝑡𝑒
El modelo no tiene poder explicativo
𝐻1 : 𝛽1 ≠ 𝛽2 ≠ 𝛽3 ≠ ⋯ … . . ≠ 𝛽𝑘
≠ 0 𝐴𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒 𝑒𝑠 𝑖𝑚𝑝𝑜𝑟𝑡𝑎𝑛𝑡𝑒
El modelo tiene poder explicativo
El análisis de varianza implica una prueba F, mediante una tabla.
ANOVA
Fuente de Suma de
g de libertad Media Cuadrática F F. Crítico
variación Cuadrados
MSR= SCR/K (Revisar
SCR k (numerador) F= MSR/MSE
Regresión CMR en Excel)
MSE =SCE/
SCE n-(k+1)(denominador) n-(K-1)
Error o Residual CME
Total SCT n-1
La prueba que se relaciona es la prueba de cola superior.
El rechazo 𝐻0 significa que la ecuación de regresión difiere de una constante, es decir al
menos una variable independiente es importante.
Evaluación de los Coeficientes de Regresión Individuales
Es necesario probar las variables individualmente para determinar cuáles coeficientes de
regresión podrían ser 0 y cuáles no.
Si una 𝛽 puede ser nula, (Aho), ello implica que tal variable independiente en particular
no es de ningún valor para explicar cualquier variación en el valor de pendiente, puede
ser deseable eliminarlos de la ecuación de regresión.
Para la 1ra variable independiente
𝐻0 : 𝛽 = 0 No es un factor de predicción significativo
𝐻1 : 𝛽 ≠ 0 𝐸𝑠 𝑢𝑛 𝑓𝑎𝑐𝑡𝑜𝑟 𝑑𝑒 𝑝𝑟𝑒𝑑𝑖𝑐𝑐𝑖ó𝑛 𝑠𝑖𝑔𝑛𝑖𝑓𝑖𝑐𝑎𝑡𝑖𝑣𝑜
Para la 2da variable independiente
𝐻0 : 𝛽 = 0
𝐻1 : 𝛽 ≠ 0
Para la k variable independiente
𝐻0 : 𝛽 = 0
𝐻1 : 𝛽 ≠ 0
El valor estadístico de prueba es la distribución 𝑡𝛼⁄2 de Student con n-(k+1)=gl
Si alguna variable independiente no es elementos significativo de predicción para “y”,
se puede eliminar del análisis.
Cuando se suprime una variable es necesario volver a construir la ecuación de regresión
para revisar las variables.