Econométrie 1

- Régression Linéaire -

ECN-6025

Automne 2018

1 / 38
 Plan

1 Régression simple

2 Régression multiple

2 / 38
Problème

Soit x et y deux variables comme le revenu et la

consommation ou le nombre d’années d’éducation et le salaire.
Supposons que l’on ait un échantillon d’observations
{(yi , xi ) ∈ R2 , i = 1, ..., n} et que l’on s’intéresse au problème
suivant :
I Trouver â, b̂ ∈ R2 tels que ŷi = â + b̂xi , soit le plus proche
possible de yi pour tout i = 1, ..., N.

3 / 38
Régression linéaire

En général, il n’y a pas de couple (a, b) qui résout

y1 = a + bx1
y2 = a + bx2
...
yN = a + bxN

exactement pour plus de deux équations (N ≥ 2).

La droite de régression linéaire ne peut être qu’une
approximation.
Comment procéder ?

4 / 38
Les Moindres Carrés
L’estimateur des Moindres Carrés Ordinaires est le couple
(â, b̂) qui minimise la somme des carrés des résidus
N
X
SCR(â, b̂) = min (yi − a − bxi )2
a,b
i=1

La condition de premier ordre de ce problème de minimisation

(CPO) est
N
∂SCR(â, b̂) X
= −2 (yi − â − b̂xi ) = 0
∂a
i=1
N
∂SCR(â, b̂) X
= −2 xi (yi − â − b̂xi ) = 0
∂b
i=1

C’est un système de deux équations à deux inconnues.

5 / 38
Les Moindres Carrés
Notons
N N N N
1 X 1 X 1 X 2 1 X
x= xi , y = yi , x 2 = xi , xy = xi yi ,
N N N N
i=1 i=1 i=1 i=1

Alors, on a
N
1 X
(yi − â − b̂xi ) = y − â − b̂x
N
i=1
N
1 X
xi (yi − â − b̂xi ) = xy − âx − b̂x 2
N
i=1

puis (â, b̂) résout

y = â + b̂x
xy = âx + b̂x 2
Ce sont les équations normales des Moindres Carrés.
6 / 38
L’estimateur des Moindres Carrés Ordinaires (MCO)

En multipliant la première équation par x et en la soustrayant à la

deuxième on obtient

xy − x y = b̂(x 2 − x 2 )

Soit
xy − x y CovN (xi , yi )
b̂ = 2
=
x2 − x VarN (xi )
et
â = y − b̂x

C’est l’estimateur des Moindres Carrés Ordinaires. (rappel : c’est un

estimateur, il dépend des observations).
La droite de régression est une droite de pente b̂ qui passe par le
point (x, y ) du nuage de points (i.e l’ensemble des N points (xi , yi )
dans le plan).

7 / 38
Droite de régression

8 / 38
Cas particuliers

Modèle sans régresseurs

N
X
min (yi − a)2 ⇒ â = y
a
i=1

Modèle sans constante

N
X xy
min (yi − bxi )2 ⇒ b̂ =
b
i=1 x2

9 / 38
Variables centrées

Changeons yi en yi − y et xi en xi − x.
Alors la régression de yi − y sur xi − x sans constante donne
1
PN
N i=1 (xi − x)(yi − y) CovN (xi , yi )
b̂ = PN =
1
i=1 (xi − x)
2 VarN (xi )
N

qui est l’estimateur MCO du coefficient de la pente de la régression

non centrée avec une constante.
⇒ Ajouter une constante dans une régression donne les mêmes
résultats que si on centrait les variables au préalable.

10 / 38
Variables normalisées

yi xi
Changeons yi en ỹi = √ et xi en x̃i = √ .
VarN (yi ) VarN (xi )

Alors, VarN (x̃i ) = VarN (ỹi ) = 1

C’est une façon de rendre le modèle invariant aux changements
d’échelle (exemple pour passer de dollars CAD à US.)
Alors
CovN (ỹi , x̃i ) CovN (ỹi , x̃i ) CovN (yi , xi )
b̂ = = =p p = CorrN (xi , yi )
VarN (x̃i ) 1 VarN (yi ) VarN (xi )

⇒ Lorsque les variables sont normalisées, l’estimateur des MCO

d’une régression simple coı̈ncide avec la corrélation.

11 / 38
Prédictions et résidus

On définit
I La prédiction comme ŷi = â + b̂xi
I Le résidu comme ûi = yi − ŷi
1
PN
Par construction, la moyenne des résidus est nulle : N i=1 ûi = 0
Ce qui implique que la valeur moyenne des prédictions est égale à la
valeur moyenne des valeurs observées.
N N
1 X 1 X
ŷi = yi = y
N N
i=1 i=1

12 / 38
Corrélation avec résidu

Les équations normales impliquent que le résidu et le régresseur ne

sont pas corrélés.
N N N
1 X 1 X 1 X
CovN (xi , ûi ) = xi ûi − xi ûi = 0
N N N
i=1 i=1 i=1
| {z } | {z }
=0 =0

Ce qui implique que les prédictions et les résidus ne sont pas

corrélés.
N N
1 X 1 X
CovN (ŷi , ûi ) = ŷi ûi = (â + b̂xi )ûi
N N
i=1 i=1
N N
1 X 1 X
= â ûi + b̂ xi ûi = 0
N N
i=1 i=1

13 / 38
Orthogonalité

On dit aussi que le résidu est orthogonal au régresseur et à la

prédiction.
(û1 , . . . , ûN ) ⊥ (1, . . . , 1)
(û1 , . . . , ûN ) ⊥ (x1 , . . . , xN )
(û1 , . . . , ûN ) ⊥ (ŷ1 , . . . , ŷN )

On montre que deux vecteurs sont orthogonaux en montrant que

leur produit scalaire est égal à 0.
N
X
(x1 , . . . , xN ) · (û1 , . . . , ûN ) = xi ûi = 0
i=1

14 / 38
Qualité de la prédiction

Comment évalue-t-on la qualité de la prédiction ŷi = â + b̂xi comme

approximation de yi ?
Si N = 2, la prédiction est parfaite, car il est en général possible de
trouver a et b qui permettent de résoudre le système d’équations

y1 = a + bx1
y2 = a + bx2

Mais cela n’est déjà plus vrai pour N ≥ 2.

15 / 38
Analyse de variance (ANOVA)
La variance empirique de yi est
VarN yi = VarN (ŷi + ûi )
= VarN (ŷi ) + VarN (ûi ) + 2CovN (ŷi , ûi )
= VarN (ŷi ) + VarN (ûi )
car CovN (ŷi , ûi ) = 0
La variance totale est somme de la variance expliquée par le modèle
et de la variance inexpliquée.
N
1 X
VarN (yi ) = (yi − y )2
N
i=1
N
1 X
VarN (ŷi ) = (ŷi − y )2
N
i=1
N
1 X 2
VarN (ûi ) = ûi
N
i=1

Une autre formulation est SCT = SCE + SCR

16 / 38
Coefficient de détermination

Le coefficient de détermination est

Variance expliquée SCE SCR
R2 = = =1− ∈ [0, 1]
Variance totale SCT SCT

Une bonne prédiction requiert un grand R 2 .

Un R 2 faible ne veut pas dire que le modèle n’a pas de pouvoir
explicatif.

17 / 38
 Plan

1 Régression simple

2 Régression multiple

18 / 38
Régression multiple

Nous voulons apprendre en utilisant des données quel est le lien

entre la variable y et les variables x1 , x2 , . . . , xK dans la population.
La relation la plus simple est linéaire.

y = a + b1 x1 + b2 x2 + . . . + bK xK

Il s’agit de la régression de la variable dépendante y sur les variables

explicatives ou régresseurs x1 , x2 , . . . , xK

19 / 38
Moindres Carrés Ordinaires
La théorie est la même que pour le modèle simple.
On suppose que l’on dispose d’un échantillon d’observations
{(yi , x1i , x2i , . . . , xKi ), i = 1, . . . , N}.
On note les estimateur des MCO : â, bˆ1 , . . . , bˆk et on note la
prédiction et le résidu de la façon suivante.

ŷi = â + b̂1 x1i + b̂2 x2i + . . . + b̂K xKi

ûi = yi − ŷi

Le problème des moindres carrés attribue à â, b̂1 , . . . , b̂KP

, les valeurs
N
qui minimisent la somme des carrés des résidus SCR = i=1 ûi2 .
Les équations normales (CPO) impliquent
PN
I La moyenne des résidus est nulle : N1 i=1 ûi = 0.
I La covariance entres PNles résidus et les régresseurs est nulle :
CovN (xki , ûi ) = N1 i=1 xki ûi = 0, k = 1, . . . , K .
Cela donne K + 1 équations linéaires et K + 1 inconnues.
20 / 38
Dérivation des Moindres Carrés Ordinaires
Le problème des Moindres Carrés Ordinaires est
N
X
min SCR(a, b1 , . . . , bK ) = min (yi − a − b1 x1i − . . . − bK xKi )2
a,b1 ,... a,b1 ,...
i=1

Les CPO sont

N
∂SCR(â, b̂1 , . . . , b̂K ) X
= −2 (yi − â − b̂1 x1i − . . . − b̂K xKi ) = 0
∂a
i=1
N
∂SCR(â, b̂1 , . . . , b̂K ) X
= −2 x1i (yi − â − b̂1 x1i − . . . − b̂K xKi ) = 0
∂b1
i=1
...
N
∂SCR(â, b̂1 , . . . , b̂K ) X
= −2 xKi (yi − â − b̂1 x1i − . . . − b̂K xKi ) = 0
∂bK
i=1

21 / 38
Dérivation des Moindres Carrés

Ce qui donne
N N
1 X 1 X
ûi = 0, xki ûi = 0, k = 1, . . . , K .
N N
i=1 i=1

On peut remarquer que

N N N N
1 X 1 X 1 X 1 X
CovN (xki , ûi ) = xki ûi − xki ûi = xki ûi
N N N N
i=1 i=1 i=1 i=1

1
PN
si N i=1 ûi = 0.

22 / 38
Notation vectorielle
   
1 a
 x1i   b1 
Soit xi =   et β = 
   
.. .. 
 .   . 
xKi bK
La transposée de xi est xi T = (1, x1i , . . . , xKi ).
Le produit scalaire entre le vecteur xi et le vecteur β est
xi · β = xi T β = a + b1 x1i + b2 x2i + . . . bK xKi

Les équations normales prennent alors la forme compacte suivante

N
X  
xi yi − xi T β̂ = 0
i=1

Ce qui donne !
N
X N
X
T
xi yi = xi xi β̂
i=1 i=1

23 / 38
Notation matricielle

On note X la matrice dont chaque colonne représente un régresseur

différent.
x1 T
   
1 x11 · · · xk1 · · · xK 1
 ..   .. .. .. 
 .   . . . 
 T   
X =  xi  =  1 x1i · · · xki · · · xKi 
  

 ..   .. .. .. 
 .   . . . 
xN T 1 x1N · · · xkN · · · xKN

La première colonne est une colonne de 1 si la régression contient

une constante.
PN
Remarque : on a X T X = i=1 xi xi T .

24 / 38
 xT
 
1
X T X = (x1 , . . . , xN )  ... 
 

xTN
N
X
= xi xi T
i=1
PN PN PN
··· ···
 
N i=1 x1i i=1 xki i=1 xKi
 
 PN PN PN PN 
2
=

i=1 x1i i=1 x1i ··· i=1 xki x1i ··· i=1 x1i xKi


 .. .. .. 
 . . . 
PN PN PN PN 2
i=1 xKi i=1 x1i xKi ··· i=1 xki xKi ··· i=1 xKi

25 / 38
L’estimateur des MCO
 
y1
On note y =  ...  = (y1 , . . . , yN )T
 

yN
D’où
N
X N
X
xi yi = X T y et xi xi T = X T X
i=1 i=1

L’estimateur des MCO β̂ est la solution du système linéaire

N N
!
X X
T
xi yi = xi xi β̂
i=1 i=1

ou
X T y = X T X β̂

26 / 38
Matrice inversible

Une matrice A de taille n × n (carrée) est dite inversible (ou

non-singulière ou de plein rang) s’il existe une matrice B de taille
n × n telle que AB = BA = In où In est la matrice identité.
Si A est inversible, alors B est unique et est appelée l’inverse de A,
notée A−1 .
Une matrice non inversible est dite singulière. Une matrice est
singulière si et seulement si son déterminant est nul.
La matrice A est singulière si ses colonnes (ou ses lignes) sont
linéairement dépendantes (c’est à dire qu’il existe c 6= 0 tel que
Ac = 0).

27 / 38
Condition de rang
L’estimateur des MCO β̂ est la solution du système linéaire
N N
!
X X
xi yi = xi xi T β̂
i=1 i=1

ou
X T y = X T X β̂

Condition de rang : la solution des CPOPNdu problème des moindres

carrés existe et est unique si X T X = i=1 xi xi T est inversible.
On peut montrer que pour que X T X soit non-singulière les colonnes
de X doivent être linéairement indépendantes.
I Suppose qu’il existe c 6= 0 : Xc = 0, alors X T Xc = 0 et donc
X T X est singulière également.
La multicolinéarité est l’existence d’une dépendance linéaire entre
les variables.

28 / 38
Condition de rang

Si la condition de rang est satisfaite, les équations normales ont une

unique solution
N
!−1 N
X X
β̂ = xi xi T xi yi
i=1 i=1
ou
β̂ = (X T X )−1 X T y

29 / 38
Prédiction

La prédiction de y est

y =
b y1 , ..., ybN )T
(b
= X βb = X (X T X )−1 X T y = PX y

où PX = X (X T X )−1 X T ∈ RN×N est le projecteur orthogonal sur X .

PX est défini par les deux propriétés suivantes :

PXT = PX (symétrie),
PX PX = PX (idempotence)

Le vecteur by est la projection orthogonale de y sur l’espace linéaire

de toutes les combinaisons linéaires des colonnes de X (l’ensemble
des vecteurs de la forme X β pour un β quelconque).

30 / 38
Résidus
Le vecteur des résidus est
u
b = (b bN )T
u1 , ..., u
= y−b y = y − PX y = (IN − PX ) y ≡ MX y.
La matrice MX = IN − PX ∈ RN×N est un autre projecteur
orthogonal car
MX = IN − PX = MXT
MX MX = MX
Important, on a,
MX X = 0N×K ∈ RN×K
MX PX = 0N×N ∈ RN×N
Alors, le vecteur des résidus est orthogonal au vecteur des
prédictions :
N
X
ybi u
bi = b b = (PX y)T MX y = yT PXT MX y = yT PX MX y = 0,
yT u
i=1
et à toutes les colonnes de X. 31 / 38
Moyenne des prédictions

Si le modèle contient une constante (i.e si la matrice X a une

colonne de 1), alors
I La moyenne des résidus est égale à 0.
I La moyenne des prédiction de yi est la moyenne de yi .

32 / 38
Régressions partitionnées

Soit y = Xβ + ε
= X1 β1 + X2 β2 + ε (partition de X)

Les équations normales sont :

 0
X1 X1 X01 X2
   0 
b1 X1 y
=
X02 X1 X02 X2 b2 X02 y

À partir de ces équations, on peut montrer que :

b1 = (X01 X1 )−1 X01 y − (X01 X1 )−1 X01 X2 b2
= (X01 X1 )−1 X01 (y − X2 b2 )

et que, en substituant b1 dans les équations du second bloc :

b2 = [X02 (I − X1 (X01 X1 )−1 X01 )X2 ]−1 [X02 (I − X1 (X01 X1 )−1 X01 )y]
= (X02 M1 X2 )−1 (X02 M1 y) = (X∗0 ∗ −1 ∗0 ∗
2 X2 ) (X2 y )

et puisque M1 = M1 M1 , alors X∗2 = M1 X2 et y∗ = M1 y

33 / 38
Régressions partitionnées : théorèmes

Théorème :
Dans une régression linéaire multiple de y sur X1 et X2 , si les
vecteurs X1 et X2 sont orthogonaux, alors les estimateurs b1 et b2
peuvent être obtenus en régressant séparément y sur X1 et y sur
X2 .

Théorème de Frisch-Waugh-Lovell
Dans une régression linéaire des MCO de y sur deux ensembles de
variables X1 et X2 , le vecteur b2 s’obtient en régressant les résidus
de la régression de y sur X1 sur l’ensemble des résidus de la
régression de chaque colonne de X2 sur X1 . En résumé, pour
trouver b2 :
1 régresser y ∼ X1 , extraire les résidus et les appeler y∗
2 régresser X2 ∼ X1 , extraire les résidus et les appeler X∗2
3 régresser y∗ ∼ X2 ∗ , les coefficients de cette régression sont b2

34 / 38
Régressions partitionnées : coefficient partiel
individuel

La procédure décrite dans le Théorème de F-W-L est commune en

économétrie et porte le nom de “netting out”. Elle explique le terme
“coefficients partiels de régression”.
Corollaire
Dans une régression linéaire multiple de y sur W = [X, z], où z est
une variable, le coefficient de z est
c = (z0 Mz)−1 (z0 My) = (z∗0 z∗ )−1 (z∗0 y∗ ), où z∗ et y∗ sont les
vecteurs de résidus de la régression de z et y sur X : z∗ = Mz et
y∗ = My. En résumé, pour trouver c :
1 régresser y ∼ X, extraire les résidus et les appeler y∗
2 régresser z ∼ X, extraire les résidus et les appeler z∗
3 régresser y∗ ∼ z∗ , le coefficient de cette régression est c
Donc, en purgeant l’effet linéaire de X sur y et z, on peut donc
obtenir c par la régression simple y∗ ∼ z∗ .

35 / 38
Régressions partitionnées : constante et centrage
Exercice : Dans une régression linéaire multiple de y sur [X, z], où z
est un vecteur de 1 (ou une constante), les coefficients de X
s’obtiennent en régressant y sur les variables de X centrées sans
constante.
Solution : Soit z = X1 = i et X2 = X. Les résidus de X2 ∼ X1
seront donnés par M1 X2 , avec M1 = (I − i(i0 i)−1 i0 ). Soit x∗ , le
résidu x∗ = M1 x d’une colonne de X2 , alors

x∗ = x − i(i0 i)−1 i0 x
 
1 0
=x−i ix
n
=x−x

La matrice M1 est alors une matrice de centrage I − n1 i0 i et le

résidu x∗ sont simplement la colonne x centrée sur sa moyenne. On

applique ensuite le corollaire précédent pour obtenir le coefficient de
x.

36 / 38
Analyse de la Variance (ANOVA)

SCT = SCE + SCR

N
X N
X N
X
2 2
(yi − y ) = (ŷi − y ) + ûi2
i=1 i=1 i=1

La variance totale est égale à la variance expliquée + variance

inexpliquée.
Notation matricielle

(y − y)T (y − y) = (ŷ − y)T (ŷ − y) + ûT û

37 / 38
Qualité des prédictions

SCE SCR
R-square : R 2 = SCT =1− SCT
En ajoutant plus de variables dans la régression, on améliore
toujours le fit, i.e le R 2 augmente.
On ne sélectionne pas un modèle un maximisant le R 2 .
2 −1)
Le R 2 ajusté, R = 1 − SCR/(N−K
SCT /(N−1) , introduit une
pénalisation pour le nombre de régresseurs K .
De manière générale, on ne se focalise pas sur le R 2 pour
utiliser un modèle en économie.

38 / 38