Two variable linear regression model
The relationship of a pair of n observations between two variables X and Y can be written as
Y i=β 0 + β 1 X i+ ϵ i i=1 , 2 , … , n (1)
Where Y i is the regressed (dependent, explained) variable, and X i is regressor (independent,
explanatory) that is fixed over repeated sample, β 0 , β 1 unknown constant (parameter) and ϵ i is
the random error
Assumptions
(1) The population, where the observations have been taken is normal and the observations are
independent
(2) ϵ ij NID ( 0 , σ 2).
Parameter estimation
ϵ i=Y i −β 0−β 1 X i
n n
∑ ∈ =∑ ¿ ¿ 2
i
i=1 i=1
To find the least squares estimators of β 0 and β 1 we form the sum of squares of the errors
n n
L=∑ ∈ =∑ ¿ ¿ 2
i
i=1 i=1
And choosing values of β 0 and β 1 say ^β 0∧ β^ 1 which minimized L
∂L
∂ β0 |
^β , ^β
0 1
=0 gives
n
−2 ∑ ( Y i − ^β 0− ^β 1 X i ) =0 (2)
i=1
and
∂L
∂ β1 |
β^ 0 , ^β1
=0 gives
n
−2 ∑ ( Y i − ^β 0− ^β 1 X i ) X i=0(3)
i=1
From equation (2) and (3) we have
n n
∑ Y i=n ^β 0+ ^β1 ∑ X i (4)
i=1 i=1
and
n n n
∑ X i Y i = ^β 0 ∑ X i+ ^β1 ∑ X 2i (5)
i=1 i=1 i=1
Equation (4) and (5) are called normal equations
After solving equations (4) and (5) we have
n
∑ ( X i− X ) ( Y i−Y ) Cov ( X , Y )
^β 1= i=1 =
n
Var ( X)
∑ ( X i− X )2
i =1
and
^β =Y − ^β X
0 1
Resi dual(e i)= y i − ^y i Or e i= y i− β^ 0 − ^β1 x i
BLUE
n n
∑ ( X i− X ) ( Y i−Y ) ∑ x i y i n
^β 1= i=1
n
= i=1n =∑ wi y i
∑ ( X i− X )2 ∑ x 2i i=1
i =1 i =1
xi
w i=
Where x i=( X i−X ) and y i=( Y i−Y ) and n
∑ xi2
i=1
n
Since ^β 1=∑ wi yi =w1 y 1 +w 2 y 2 +, … ,+w n y n so ^β 1 is a linear function of Y
i=1
n
xi
w i= n
implies ∑ w i=0 ,
∑ xi2 i=1
i=1
n n
( X i− X ) X i n
( X ¿¿ i−X )
∑ wi X i=∑ n
=∑ ( X i− X ) n
=1 ¿
∑ ( X i−X ) ∑ ( X i−X )
i=1 i=1 2 i =1 2
i=1 i=1
and
n
∑ x i2
( )( )( )
n n 2
xi 1
∑ w2i =∑ n
= i=1
n 2
= n
i=1 i =1
∑ x 2i ∑ x 2i ∑ x2i
i=1 i=1 i=1
Unbiasedness
(∑ ) (∑ ) (∑ )
n n n
E ( β^ 1 ) =E wi y i =E wi Y i =E wi (β 0 + β 1 X i + ϵ i )
i=1 i=1 i=1
( ∑ ) ( ∑ )
n n n n n
E β0 ∑ w i + β 1 ∑ wi X i+ w i ϵ i =E 0+ β 1+ wi ϵ i =β 1+ ∑ wi E ( ϵ i )=β 1
i=1 i=1 i=1 i=1 i=1
n n
where ^β 1=β 1+ ∑ wi ϵ i ⇒ ^β 1−β 1=∑ w i ϵ i
i=1 i=1
^β is an unbiased estimator of β 1.
1
Best
[∑ ]
n 2
2
[
V ( β^ 1 )=E ^β 1−E ( ^β 1 ) =E [ ^β 1−β 1 ] =E ]
2
w i ϵi
i=1
[ ]
n 2
∑ wiϵi =( wi ϵ i ) + ( w i ϵ i ) +, … ,+ ( wi ϵ i ) +2 ∑ wi w j ϵ i ϵ j
2 2 2
i=1 i< j
[∑ ] (∑ )
n 2 n n n
E wi ϵ i =E w ∈ + 2 ∑ wi w j ϵ i ϵ j =∑ w E(∈ ¿ ¿ i ¿ )+ ∑ wi w j E (ϵ ¿ ¿ i ϵ j)¿ ¿ ¿
2
i
2
i
2
i
2
i=1 i=1 i<j i=1 i=1
( )
n n n
1
∑w 2
i σ + ∑ wi w j .0=σ
2
ϵ
2
ϵ ∑ w 2i =σ 2ϵ . n
i=1 i=1 i=1
∑ x 2i
i=1
Find
V ( β^ 0 ) =?
n n n n n
Let β^ 1=∑ c i y i=∑ c i ( β 0+ β1 X i +ϵ i )= β0 ∑ c i + β 1 ∑ ci X i + ∑ ci ϵ i
¿
i=1 i=1 i=1 i=1 i=1
n n n n n
E ( β^ ¿1 ) =β 0 ∑ ci + β 1 ∑ c i X i + ∑ ci E(ϵ¿ ¿i)=β 0 ∑ c i+ β1 ∑ c i X i ¿
i=1 i=1 i=1 i=1 i=1
n n
^β ¿will be an unbiased estimator of β 1 when ∑ c =0and ∑ c X =1 under these conditions
1 i i i
i=1 i=1
E ( β^ ¿1 ) =β 1
n n
^β ¿1=β 1+ ∑ c i ϵ i ⇒ ^β ¿1−β 1=∑ c i ϵ i
i=1 i=1
[∑ ]
n 2
2
[ ]
V ( β^ ¿1 )=E ^β ¿1−E ( ^β ¿1 ) =E [ ^β ¿1−β 1 ] =E
2
ci ϵ i
i=1
[∑ ]
n 2 n
c i ϵ i =∑ c 2i ∈2i +2 ∑ c i c j ϵ i ϵ j
i=1 i=1 i< j
[ ]
n 2 n n n n n
E ∑ ci ϵ i =∑ c E(∈ ¿ ¿ i 2 ¿)+ ∑ c i c j E(ϵ ¿ ¿ iϵ j)=∑ c 2i σ 2ϵ + ∑ ci c j .0=σ 2ϵ ∑ c 2i ¿ ¿ ¿
2
i
i=1 i=1 i =1 i =1 i=1 i=1
n
V ( β^ ¿1 )=σ 2ϵ ∑ c 2i
i=1
To compare this variance with that of the OLSE ^β 1, write
c i=wi +c i−wi
n n n n n
∑ c2i =∑ ( wi +( c i−wi ) )2 =∑ wi2+∑ ( c i−w i )2+ 2 ∑ wi ( c i−w i )
i=1 i=1 i=1 i=1 i=1
But
n n n
ci xi 1 1
∑ wi c i=∑ n
= n
∧∑ w i =
2
n
i=1 i=1
∑ ( x i )2 ∑ x 2i i=1
∑ x2i
i=1 i=1 i=1
Thus
n n n
1 1
∑ wi ( c i−w i )=∑ wi c i−∑ w 2i = n
− n
=0
i=1 i=1 i=1
∑x ∑x 2
i
2
i
i=1 i=1
So
( )
n n n n
V ( β^ ¿1 )=σ 2ϵ ∑ w2i +∑ ( c i−wi )2 =σ 2ϵ ∑ w2i +σ 2ϵ ∑ ( c i−wi )2=V ( ^β1 )+ some positive quantities unless c i=w i
i=1 i=1 i=1 i=1
^β is best linear unbiased estimator of β 1
1
X Y XY X2 Y^ e = Y- Y^
2 4 8 4 4.5 -.5
3 7 21 9 6.25 .75
1 3 3 1 2.75 .25
5 9 45 25 9.75 -.75
9 17 153 81 16.75 .25
Total 20 40 230 120 40.00 0