Análisis de Regresión: Predicciones y Métodos
Análisis de Regresión: Predicciones y Métodos
1
ANÁLISIS DE REGRESIÓN
El término regresión viene del Latín regresio: que significa regreso, vuelta, retro-
ceso y fue usado por primera vez como concepto estadístico en 1877 por Sir Francis
Galtón, quién efectuó un estudio demostrando que la altura de los hijos de padres
altos tendía a retroceder o «regresar», hacia la talla media de la población; regresión
fue el nombre que le dió al proceso general de predecir una variable (la talla de los
niños) a partir e otra (la talla de los padres). Más tarde, los estadísticos acunaron la
expresión regresión múltiple para describir el proceso en virtud del cual se emplean
algunas variables para predecir otra.
Los métodos de regresión, se utiliza para analizar datos que provienen de experi-
mentos que no fueron diseñados, este es el caso del estudio de fenómenos no contro-
lados o de registros históricos. Los métodos de regresion se usan para determinar la
«mejor» relación funcional entre las variables, mientras que los métodos de correla-
ción se utilizan para medir el grado de asociación de las distintas variables. En pocas
palabras, regresión es la cantidad de cambio de una variable asociado a un cambio
único de otra variable.
Yi = β 0 + β1X i + ε i , i = 1,2,..., n
Donde:
Yi = Variable dependiente.
Xi = Variable independiente.
β 0 = Parámetro desconocido que indica la ordenada donde la línea de
regresión lo intersecta.
β 1 = Parámetro desconocido que indica la pendiente de la línea de mejor
ajuste, llamada también coeficiente de regresión poblacional.
ε i = Error de perturbación que puede tomar valores positivos o negativos.
Análisis y Diseño de Experimentos - 3 -
Propiedades del modelo:
a) Toda perturbación aleatoria tiene de media cero, es decir:
Ε( ε i ) = 0 , i = 1,2,...,n.
b) Todas las perturbaciones aleatorias tienen la misma varianza
(homoscedasticidad).
V(ε i ) = σ 2i i = 1,2,...,n.
c) Las perturbaciones son independientes entre sí:
cov( ε i , ε j ) = 0, i ≠ j
Yi
E(Y) = β0 + β1Xi
Yj
UVε
W j
UV ε
.
W i
Yi
X1 X2 X3 X4 Xi
Suposiciones en regresión
Diagrama de dispersión.
Eje Y
Eje Y
Eje Y
Eje X Eje X Eje X Eje X
Lineal positiva Lineal negativa No Lineal Ninguna relación
En el análisis de regresión lineal simple, se busca una línea de tal forma que la
sumatoria de los errores de todas las observaciones con respecto a la línea sea míni-
ma, para lograr la estimación de los parámetros desconocidos ( β 0 y β 1 ), se utiliza
el método de «Mínimos Cuadrados». Este método consiste en encontrar los valores
β 0 y β 1 de la ecuación de regresión muestral, de manera que la suma de los cuadra-
dos de todos los residuos ε i (suma de cuadrados del error: SCE) alrededor de la
línea de regresión sea mínima. Para estimar los parámetros se partirá del modelo
original, que está expresada en la siguiente ecuación:
Yi = β 0 + β1X i + ε i , i = 1,2,..., n
ε i = Yi − β 0 − β1X i
b g
ε 2i = Yi − β 0 − β1X i elevando al cuadrado.
2
∑ ε = ∑ bY − β g aplicando sumatoria.
n n
− β1 X i
2 2
i i 0
i =1 i =1
Para encontrar las Ecuaciones Normales se usan las derivadas parciales con
respecto a los parámetros desconocidos β 0 y β 1 , entonces tenemos:
n n
∂∑ ε 2i ∂ ∑ ε 2i
a) i=1
=0 y b) i=1
=0
∂β 0 ∂β1
Análisis y Diseño de Experimentos - 5 -
∂
LM∑ bY − β
n
− β1X i g OPQ
2
De a) N
i =1
i 0
b g
n
2 ∑ Yi − β 0 − β1X i ( −1) = 0 , haciendo operaciones elementales se tiene la pri-
i =1
mera ecuación normal, pero por la propiedad de la sumatoria de una constantes es:
n
∑ β$
i =1
0 = nβ$ 0
n n
nβ$ 0 + β$ 1 ∑ X i = ∑ Yi L i)
i =1 i =1
∂
LM∑ bY − β
n
− β1X i g OPQ
2
De b) N
i =1
i 0 n
b g
= 0 , 2∑ Yi − β 0 − β1X i ( − X i ) = 0 , igual que la
∂ β1 i =1
n n n
β$ 0 ∑ X i +β$ 1 ∑ X i2 = ∑ X i Yi
i =1 i =1 i =1
n n
∑Y i ∑X i
dividiendo entre «n» a ambos miembros tenemos: β$ 0 = i =1
− β$ 1 i =1
n n
-6- V. Ibañez Q. - Docente FINESI - UNA - Puno
β$ 0 = Y − β$ 1X
e j∑
n n n
Y − β$ 1 X X i +β$ 1 ∑ X 2i = ∑XY i i , y haciendo ope-
i =1 i =1 i =1
n n
n n n ∑X ∑Y i i
∑ X Y − Y∑ X i i i ∑X Y − i i
i =1 i =1
, ó β$ 1 =
n
β$ 1 = i =1
F I
i =1 i =1 ,ó
2
− G∑ X J
n n n n
∑X i =1
2
i − X∑ Xi
i =1
∑X
i =1
2
i
H K i =1
i n
∑ cX hc h
n n
i − X Yi − Y ∑ X Y − nXY i i
β$ 1 = i =1
= i =1
∑ cX h
n n
∑X
2
i −X 2
i − nX 2
i =1 i =1
n
n ∑Y i
U|
i =1
n n n n n
nβ$ 0 + β$ 1 ∑ X i = ∑ Yi ∑X ∑X Y n∑ X i Yi −
V| ⇒
i i i
n
i =1
n
i =1
n β$ 1 = i =1 i =1
= i =1
β$ 0 ∑ X i +β$ 1 ∑ X
n
= ∑X Y
|W ∑X
n
n∑ X 2i −
2
i i i n i
i =1 i =1 i =1 i =1 i =1
n n
∑ Xi
i =1
∑ X2i
i =1
Análisis y Diseño de Experimentos - 7 -
n n
n ∑ X ∑Y i i
∑ X iYi − i =1 i =1
β$ 1 = i =1 n
n
∑ X i2 −
FG ∑ X IJ
n 2
i =1 H K
i =1
i n
∑x y i i
Cov( X, Y) S XY
β$ 1 = i =1
n
= = 2
∑x 2 V ( X) SX
i
i =1
$ = ( Y − β$ X) + β$ X = Y + β$ X − β$ X = Y + β$ ( X − X)
Yi 1 1 i 1 i 1 1 i
$ − Y = β$ (X − X)
Yi 1 i
Yi $
ε i = Yi − Y i
Y (X,Y)
U
U|
V|ε U| $ = β$ + β$ X
E(Y) 0 1 i
U| |V|ε
U| ||
W
i
β$ 1 $
U| $ tg(θ) = = β1
V|ε W
11
1
V| β
W θ
|| |V Y U|
9
UV ε W
1
$ − Y = β$ X
Y W S cX, Yh
8
R Y
UV ε T 14243
i 1 i
UVε ε 10
W UVε W
V| Y$ || ||
5
7 i
W
1
Y2 UV ε 6
|| || V||
i
UV ε UV ε W 4
Y
Y1 W 1
W 2
β$0
RS
T W W |W
X1 X2 X3 X4 X X5 X Xi
Fórmulas de trabajo:.
n n n
∑ Xi
i =1
= ∑ Yi
i =1
= ∑XY i=1
i i =
X = Y =
FG ∑ X IJ
n 2
FG ∑ Y IJ
n 2
FG ∑ X IJ FG ∑ Y IJ
n n
H K i =1
i n =
H K
i =1
i n =
H KH K
i =1
i
i =1
i n =
FG∑X IJFG∑Y IJ n n
∑X
n
2
i = ∑Y
n
i
2
=
n
∑x y = ∑XY −
H KH K =
i i
n
i i
i =1
i
i=1
i
i =1 i =1 i=1 i=1 n
FG ∑ X IJ 2
FG ∑ Y IJ
n 2
H K
n
∑x 2
i
n
= ∑ X 2i −
H K i =1
i
=
n
∑y = ∑Y 2
n
2
− i =1
i
=
i i
i =1 i =1 n i =1 i =1 n
β$ M∑XY −
H KH K P = β$ ∑x y
n i i n
SCR CMR
MM PP
i=1 i=1
Regresión 1 1 i i 1 i i
ni=1 i=1 1 CME
N Q
LM F Y I OP L FG∑X IJFG∑YIJ OP
2
G ∑ JK M
n n n
M n
H P−β$ M∑XY − H KH K P = ∑y −β$ ∑x y
i n i i n n SCE
n P M
n - 2 M∑Y −
PP
2 i=1 i=1 i=1 2
Error
MM PP MN n−2
i 1 i i i 1 i i
i=1 n i=1 i=1 i=1
N Q Q
FG∑Y IJ n 2
Total n- 1 H K n
∑Y − i
2 i=1
i
= ∑y2i
n
i=1 n i=1
- 10 - V. Ibañez Q. - Docente FINESI - UNA - Puno
1. Hipótesis Estadística: H 0 : β1 = 0
H a : β1 ≠ 0
β$ 1 − β1
t= ~ t ( n−2)
s. e(β$ ) 1
α2 α2
1- α
− t α 2 ,( n − 2 ) 0 t α 2 ,( n −2 ) t
RR/Ho: β1 RR/Ho:
RA/Ha:
Valor Valor
crítico crítico
RA H o : - t α 2 ,( n − 2 ) ≤ t c ≤ t α 2,(n-2)
RR H o : t c < -t α 2,(n-2) ó t c > t α 2,(n-2)
β$ 1 − β1 s.e.(β$ ) = s2
tc =
s. e(β$ )
, 1
FG∑X IJ n 2
1
n
∑X −−
H K
2
i
i=1
i
i=1 n
Análisis y Diseño de Experimentos - 11 -
β1 ∈ β$ 1 ± t α ,( n − 2 ) s. e.(β$ 1 )
2
Una vez que se ha encontrado que existe regresión lineal simple poblacional ó
que la línea de regresión muestral es válida para realizar predicciones; entonces
podemos realizar las predicciones.
E ( Y$h ) = E ( β$ 0 + β$ 1 X h ) = β$ 0 + β$ 1 X h = µ Y Xh
LM
1 ( X h − X )2
S 2 ( Y$h ) = MSE +
OP
MN PQ
n ∑ X i2 − nX 2 , la distribución muestral es:
Y$h − Yh LM
$ ) = MSE 1 + ( X h − X )
2 OP
tc =
s( Y$h )
~ t( n − 2 ) ; S ( Yh
n ∑ X i2 − nX 2MN PQ
- 12 - V. Ibañez Q. - Docente FINESI - UNA - Puno
Luego el intervalo confidencial del (1- α )x100% para la respuesta media
E ( Yh ) ,
se obtiene de la siguiente forma:
LM
S 2 ( Y$h( New ) ) = MSE 1 +
1 ( X h − X )2
+
OP LM
1 ( X h − X )2
= S 2 1+ +
OP
MN n ∑ X i − nX
2 2
PQ MN
n ∑ X i2 − nX 2 , la PQ
distribución muestral es:
EJEMPLO:
En la tabla siguiente se presenta los resultados promedio de la evaluación senso-
rial de la naranja Valencia «control» a través del tiempo de almacenamiento,
para este caso se establece el límite de aceptabilidad del producto, considerando
un puntaje de 3.5 en la escala de: 6 (Excelente), 5 (Muy buena), 4 (buena), 3
(regular), 2 (mala) y 1 (inaceptable). Se presentan datos para el análisis sensorial
de la naranja Washington Navel «Hipobárico» en s apariencia general externa.
Análisis y Diseño de Experimentos - 13 -
Tiempo (días) 0 13 25 35 50 61 68 86 93
AGE (Puntaje) 5.50 4.25 4.00 3.75 3.40 2.25 1.75 1.25 1.00
AGE: Apariencia General Externa.
SOLUCIÓN:
a) Diagrama de dispersión.
6.00
Apariencia general (puntaje)
5.00
4.00
3.00
2.00
1.00
0.00
0 20 40 60 80 100
Tiempo (días)
∑ X Y − ∑ X ∑Y i i i i n
913.25 − ( 431 )( 27.15 ) 9
β$ 1 = i =1 i =1 i =1
= = −0.046793
∑X
9
FG ∑ X IJ
9 2
28909 − ( 431 )2 9
−
H K
2
i i n
i =1 i =1
β$ 0 = Y − β$ 1 X = 27 .15
9 − 0.046793872 b g = 5.257958559
431
9
6.00
4.00
3.00
2.00
1.00
0.00
0 20 40 60 80 100
Tiempo (días)
Análisis y Diseño de Experimentos - 15 -
∑ X Y − d∑ X id∑ Y i
2
913.25 − (431)(27.15) 9
2
i i i i n
SSRm = =
∑ X − d∑ X i n
i
2
i
2
b g
28909 − 431
2
9
= 18.10610911
n=9
n =9
( ∑ Yi )2
( 27.15 )2
SSTm = ∑ Yi 2 − i =1
= 100.6225 − = 18.72
i =1 n 14
SSRm 18.10610911
R2 = x100 = x100 = 96.72%
SSTm 18.72
~2 MSE 0.087698699
Rajust . = 1− x100 = 1- x100 = 96.25%
MSTm 2.34
- 16 - V. Ibañez Q. - Docente FINESI - UNA - Puno
~2
El coeficiente de determinación ajustado Rajust . es alto por lo que existe una bondad
de ajuste bueno, es decir el modelo es confiable para realizar las predicciones hacia el
futuro, recomendar que el modelo se puede usar en diferentes lugares para este tipo
de evaluación sensorial de la naranja, tal como afirma Gutierrez, H. y De la Vara, R.
(2004), para fines de predicción se recomienda el coeficiente de determinación ajustado
al menos de 0.7 para que el modelo sea aceptable y confiable.
β$ 1 − β1
t= ~ t ( n−2)
s. e(β$ )
1
RR/Ho: β1 RR/Ho:
RA/Ha:
Valor Valor
crítico crítico
5. Valor experimental. Se obtiene
reemplazando valores en la función pivotal.
β$ 1 − β 1 −0.046793872 − 0
tc = = = −14.36865 ,
s. e( β$ 1 ) 0.003256664
s2
V ( β$ 1 ) =
0.087698699
= = 0.000010605
∑X i
2
− d∑ X i
i
2
n 8268.888889
s.e( β$ 1 ) = 0.003256664
Pr β$ 1 − t α ,( n −2 ) s. e.(β$ 1 ) ≤ β1 ≤ β$ 1 + t α ,( n − 2 ) s. e.(β$ 1 ) = 1 − α
2 2
LM OP LM
ii) S 2 ( Y$35 ) = MSE 1 + ( X 352− X ) 2 = 0.087698699 1 + ( 35 − 47.89 ) = 0.011506486
2 2
OP
MNn ∑ Xi − nX PQ N9 .
8268888889 Q
S ( Y$35 ) = 0.10726829
- 18 - V. Ibañez Q. - Docente FINESI - UNA - Puno
iii) Encuentre el Intervalo confidencial del 95% para la respuesta media E ( Yh ) ,
cuando Xh = 35 .
LM 1
ii) S 2 ( Y$h( New ) ) = MSE 1 + +
( X h − X )2OP LM1 (100 − 47.89 )2
= 0.087698699 1 + +
OP
MN n ∑ Xi − nX
2
PQ
2
N .
9 8268888889 Q
= 0.12624271
S ( Y$h( New ) ) = 0.355306502
PROGRAMA EN SAS.
DATA AGROI;
OPTIONS NODATE NOCENTER NONUMBER;
INPUT X Y;
DATALINES;
0 5.50
13 4.25
25 4.00
35 3.75
50 3.40
61 2.25
68 1.75
86 1.25
93 1.00
;
PROC PRINT; RUN;
PROC REG;
MODEL Y = X/XPX I COVB CLB CLI CLM P;
RUN;
/* CALCULA EL COEFICIENTE DE CORRELACIÓN */
PROC CORR;
VAR X Y;
RUN;