Introduction lconomtrie
S6-LEF sc. co. & gestion
Chapitre 2 :
Prof. Mohamed El Merouani
REGRESSION LINAIRE MULTIPLE
Plan du Chapitre :
I.- Position du problme
II.- Hypothses dapplication de la Mthode de moindres carres
III.- Estimation des composants du vecteur A
lM
E
IV.- Esprance mathmatique et matrices des variances covariances des estimateurs
suivre
I.- Position du problme :
Le modle de rgression linaire multiple est de la forme :
ero
Y = a1 X 1 + a2 X 2 + L + ak X k + ,
o Y est la variable expliquer,.
ua
X1,X2,,Xk ce sont les variables explicatives.
a1,a2,,ak ce sont les paramtres du modle.
ni
est lerreur alatoire, inconnue et centre.
Les variables Y, X1,X2,,Xk et sont des vecteurs de n composantes.
FP
x11
x 21
M
X 1 = ; LLL;
xi1
M
x
n1
x1k
x2 k
M
;
Xk =
xik
M
x
nk
1
2
M
=
i
M
n
tou
Te
y1
y2
M
Y = ;
yi
M
y
n
Le vecteur alatoire Y est connu. Les vecteurs X1,X2,,Xk sont connus et non alatoires.
x1k 1
y1
x11
x12
x2 k 2
y2
M M
M
M
+
= a1 + LL + a k
xik i
yi
xi1
M M
M
M
x
x
y
nk n
n
n1
an
Rsoudre le problme consiste en estimer les paramtres a1,a2,,ak qui sont inconnus. Notons
par a1 , a 2 , L , a k leurs estimateurs. Le modle scrit, alors :
1
[Link]
Introduction lconomtrie
S6-LEF sc. co. & gestion
Prof. Mohamed El Merouani
ou encore sous forme matricielle,
lM
E
y1
y 2 x11
M x
= 21
yi M
M x
n1
y
n
x12
x 22
xn 2
L x1k a1 1
L x 2 k a 2 2
+
O M M M
L x nk a k n
Soit finalement, en posant,
x12
x 22
xn 2
L x1k
L x2k
O M
L x nk
et
ero
x11
x
X = 21
M
x
n1
a1
a
A= 2
M
a
k
sous forme dune quation matricielle :
ua
Y = XA +
Matrices de types
(n,1)=(n,k)(k,1)+(n,1)
ni
Remarquons quun modle crit sous forme non homogne, c'est--dire avec un terme
constant :
FP
Y = a0 + a1 X 1 + a2 X 2 + L + ak X k +
Revient au cas gnral prcdent en supposant que la constante a0 est multiplie par un
vecteur unitaire X0 :
Te
Y = a0 X 0 + a1 X 1 + a2 X 2 + L + ak X k +
L x1k
L x2k
et
O M
L x nk
a0
a
A= 1
M
a
k
an
1 x11
1 x 21
X =
M
1 x
n1
tou
La matrice X admet, alors, une colonne compltement des 1 :
Par la suite, nous allons considrer le cas homogne et nous allons estimer les termes du
vecteur A en appliquant la mthode des moindres carres.
2
[Link]
Introduction lconomtrie
S6-LEF sc. co. & gestion
Prof. Mohamed El Merouani
II.- Hypothses dapplication de la mthode des moindres carres :
On suppose que :
1) Le nombre des composantes (n) est plus grand que le nombre des variables explicatives
(k) :
n>k.
lM
E
Les variables explicatives sont connues et non-alatoires. En dautres termes, commenant de
nouveau par lchantillonnage, lunique source de variation pour Y provient de lerreur
alatoire .
2) La matrice X de type (n,k) est de rang k, c'est--dire que aucune variable explicative nest
linairement dpendante des autres.
ero
Dans le cas o le rang de X est infrieur k, la procdure destimation nest plus valable. En
effet, le rang de la matrice XX, ou X dsigne la matrice transpose de X, est alors infrieur
k, et la matrice (XX)-1, matrice inverse de XX nexiste pas.
3) Lesprance mathmatique du vecteur rsiduel est nulle :
E()=0
(hypothse fondamentale)
ua
Le zro reprsente le vecteur 0 de n composantes. En effet, pour tout i, on a E(i)=0, c'est-dire :
ni
1 0
0
E 2 = E ( ) = 0
M
M
n 0
FP
E ( 1 ) = 0
E ( ) = 0
E ( n ) = 0
4) Lesprance mathmatique de la matrice forme par le produit du vecteur et de sa
transpose est gale I, o pour tout i, 2 = E ( i2 ) et o I est la matrice identit de type
(n,n).
En effet,
de types (n,1) (1,n)
L 1 n
L 2 n
O
M
L n2
an
12 1 2
1
22
2
= ( 1 , 2 ,L, n ) = 2 1
M
M
n
n 2
n 1
tou
Te
(n,n)
Alors, lesprance de cette matrice sera :
3
[Link]
Introduction lconomtrie
S6-LEF sc. co. & gestion
E ( 12 ) E ( 1 2 )
E ( 2 1 ) E ( 22 )
E ( ) =
M
E ( ) E ( )
n 1
n 2
Prof. Mohamed El Merouani
L E ( 1 n )
L E ( 2 n )
=
O
M
L E ( n2 )
Cette matrice est la matrice des variances-covariances des erreurs que lon note .
Mais, par lhypothse dhomoscdasticit, on a : E ( 12 ) = E ( 22 ) = L = E ( n2 ) = 2
lM
E
et par lhypothse de non-corrlation des erreurs : E ( i j ) = 0,
si i j
2 0 L 0
1 0 L 0
2
1 O M
0 O M
2 0
E ( ) =
=
= 2I
M O O 0
M O O 0
2
0 L 0
0 L 0 1
Do
ero
E ( ) = = 2 I .
Finalement,
ua
III.- Estimation des composants du vecteur A :
Soit le modle Y=XA+, o est une variable alatoire inconnue.
ni
Soit A le vecteur estimateur de A.
FP
Le modle estim est alors : Y = X A .
Dsignons par e le rsidu qui existe entre la valeur relle de Y et la valeur estim Y :
Te
e = Y Y = Y X A
Le vecteur e est un vecteur colonne de n composantes e1, e2, ,en.
tou
Calculons selon la mthode des moindres carres, la somme des carres des rsidus :
n
= e . e
an
i =1
2
i
o e est le vecteur ligne transpose de e .
n
On a :
e
i =1
2
i
)(
= Y X A Y X A
( )
or Y X A = Y X A = Y A X
4
[Link]
Introduction lconomtrie
n
alors
e
i =1
2
i
S6-LEF sc. co. & gestion
)(
Prof. Mohamed El Merouani
= Y A X Y X A = Y Y Y X A A X Y + A X X A
les termes de cette somme sont des matrices de type (1,1), c'est--dire des scalaires. Or, la
transpose dun scalaire est le mme scalaire. Ainsi,
Y X A = Y X A
de type
(1,n)(n,k)(k,1)=(1,1)
lM
E
(Y X A ) = A X (Y ) = A X Y
mais aussi
Finalement
e
i =1
2
i
= Y Y 2 A X Y + A X X A
ero
Le 2me terme du 2me membre est une forme linaire en A , le 3me est une forme quadratique
en A (la matrice XX est une matrice de type (k,k) symtrique).
n
Pour dterminer le minimum de
e
i =1
, nous la drivons par rapport au paramtre estimer A
ua
On a :
2
i
( A X Y )
= X Y
A
et
( A X X A )
= 2 X X A
ni
Donc, la drive de la somme des carres des rsidus est :
ei2
i =1 = 0 ( X X )A = X Y
A
tou
Te
Alors ;
FP
ei2
i =1 = 0 2( X Y ) + 2 X X A
A
Si la matrice X est de rang k, la matrice (XX)-1 existe, alors ;
1
A = ( X X ) X Y
Le vecteur A est alatoire. En effet, si on remplace Y par sa valeur Y=XA+, on aura :
an
1
A = ( X X ) X ( XA + )
1
1
A = ( X X ) ( X X ) A + ( X X ) X
1
A = A + ( X X ) X
Le vecteur A dpend linairement du vecteur alatoire .
5
[Link]