Chapitre 1 :

Modèle de Régression Linéaire Simple

Econométrie

TALNAN EVRARD

Licence 2 SEA

1
Plan du chapitre

1 Dé…nition du Modèle de Régression Linéaire Simple (MRLS)

2 Les moindres carrés ordinaires

3 Propriétés algébriques des MCO

4 Les unités de mesure et la forme fonctionnelle

5 Propriétés statistiques des MCO

2
1. Dé…nition du MRLS

Soient deux variables x et y .

Objectif : Expliquer y en fonction de x =) de combien va varier y si x varie

d’un certain montant ?

Trois questions :
Question 1 : Comment peut-on tenir compte de l’in‡uence que d’autres facteurs
peuvent avoir sur y , sachant qu’il est impossible de caractériser la relation
exacte qui existe entre deux variables ?
Question 2 : Quelle relation fonctionnelle entre y et x doit-on privilégier ?
Question 3 : Comment peut-on s’assurer que l’e¤et ceteris paribus de x sur y
soit bien mesuré ?

3
1. Dé…nition du MRLS

Considérons l’équation suivante reliant y à x :

y = β0 + β1 x + u
=) Equation supposée véri…ée dans la population considérée.

Terminologie :

y est appelée variable expliquée (ou dépendante ou endogène ou d’intérêt)

x est appelée variable explicative (ou indépendante, ou exogène ou de

contrôle)

u est appelée terme d’erreur ou perturbation.

4
1. Dé…nition du MRLS

Le MRLS y = β0 + β1 x + u permet de répondre aux 3 questions posées

précédemment :

1 Le terme d’erreur u représente tous les facteurs, di¤érents de x, ayant une

in‡uence sur y et qui sont inobservables.

2 L’équation propose une forme fonctionnelle qui relie y à x.

3 L’équation permet une analyse ceteris paribus : u contenant toutes les

variables inobservables, il est possible d’estimer l’e¤et de x sur y ceteris
paribus, c’est-à-dire tel que ∆u = 0

∆y = β1 ∆x + ∆u
∆y = β1 ∆x si ∆u = 0

5
1. Dé…nition du MRLS

Modèle de Régression Linéaire Simple :

Linéaire =) La variable expliquée est une fonction linéaire des
paramètres
Simple =) Une seule variable explicative

Intérêt du MRLS :
comprendre les intuitions derrière l’estimateur
examiner en détails les propriétés statistiques
faire des représentations graphiques.

Le modèle de régression linéaire multiple, i.e. à plusieurs variables explicatives,

n’est qu’une généralisation du modèle de régression linéaire simple.

6
1. Dé…nition du MRLS

y = β0 + β1 x + u

β0 et β1 sont les paramètres ou coe¢ cients que l’on cherche à connaître :

ils ont une vraie valeur dans la population, cette valeur est inconnue mais il
est possible de l’estimer grâce à un échantillon.

β0 représente la constante, parfois appelé ordonnée à l’origine =)

rarement au cœur de l’analyse, donc peu commentée.

β1 est le coe¢ cient de la pente dans la relation entre y et x, tous les

autres facteurs dans u étant maintenus constants

7
1. Dé…nition du MRLS

Exemple : Rendement des cultures de soja et engrais

yield = β0 + β1 fertilizer + u
Le rendement (yield) correspond à y et la quantité d’engrais (fertilizer )
correspond à x.

=) Etudier l’e¤et β1 des engrais sur le rendement des cultures de soja, toutes
choses étant égales par ailleurs (ceteris paribus).

=) Le terme d’erreur u contient des facteurs tels que la qualité de la terre

8
1. Dé…nition du MRLS

Exemple : Salaire horaire et niveau d’instruction

wage = β0 + β1 educ + u

=) β1 mesure l’e¤et sur le salaire horaire (wage) d’une année supplémentaire

d’instruction (educ), ceteris paribus.

=) Les facteurs non observés contenus dans u incluent le niveau d’expérience

de l’individu sur le marché du travail, ses facultés innées, son ancienneté auprès
de l’employeur actuel, son éthique au travail, et bien d’autres choses.

9
1. Dé…nition du MRLS

L’objectif est d’obtenir une estimation "correcte" de β0 et β1 .

Pour s’assurer que l’estimation du paramètre β1 fournisse une mesure correcte

de l’e¤et de x sur y ceteris paribus, i.e. de l’e¤et sur y uniquement imputable à
une variation de x.

=) Le terme d’erreur u ne doit pas réagir à une variation de x.

=) La …abilité des estimateurs de β0 et β1 nécessite de poser la bonne

hypothèse sur la manière dont le terme d’erreur (non observé) u est relié à la
variable explicative x.

10
1. Dé…nition du MRLS

Quelle hypothèse doit-on faire sur la dépendance statistique entre u et x ?

E (u jx ) = E (u )
=) L’espérance de u est indépendante de x : la valeur moyenne de u ne
dépend pas de la valeur de x.
=) La valeur moyenne des variables non observées est la même pour toutes les
tranches de la population correspondant à une valeur donnée de x.

Attention : ces hypothèses portent bien sur la variable aléatoire u et non sur ses
réalisations. Elles portent donc sur la population totale que l’on cherche à
étudier et non pas uniquement sur notre échantillon.

11
1. Dé…nition du MRLS
Exemple : Salaire horaire et niveau d’instruction

wage = β0 + β1 educ + u

Supposons que u représente l’aptitude innée ability d’une personne et x est

le nombre d’années d’études educ. Alors E (u jx ) = E (u ) signi…e par
exemple :

E (ability jeduc = 8) = E (ability jeduc = 12) = E (ability jeduc = 16)

c’est-à-dire que le niveau moyen d’aptitude innée doit être le même pour
tous les niveaux d’enseignement.

Or on s’attend à ce que, en moyenne, les personnes ayant une plus grande

aptitude innée choisissent de s’instruire davantage : l’hypothèse
E (u jx ) = E (u ) est donc vraisemblablement fausse.

12
1. Dé…nition du MRLS

Pourquoi inclure une constante dans le modèle ?

La présence de la constante β0 permet alors de faire l’hypothèse suivante sans

perte de généralité : E (u jx ) = 0

C’est une simple normalisation. On peut toujours redé…nir la constante de telle

sorte que cette hypothèse soit véri…ée

13
1. Dé…nition du MRLS

Sous l’hypothèse E (u jx ) = 0, on a :

E (y jx ) = β0 + β1 x + E (u jx ) = β0 + β1 x
=) Fonction de régression de la population (FRP).

Attention : E (y jx ) = β0 + β1 x ne dit pas que y = β0 + β1 x pour tous les

éléments de la population.

14
1. Dé…nition du MRLS

Pour une valeur donnée de x, il existe un ensemble de valeurs de y qui suit la

distribution de u car y = β0 + β1 x + u.
15
1. Dé…nition du MRLS
Exemple : College versus High School GPA.
Soient x = hsGPA = "high school Grade Point Average" = moyenne
générale obtenue aux examens à la sortie du lycée
et y = colGPA = "college Grade Point Average" = moyenne générale
obtenue aux examens de la licence universitaire
Supposons que la FRP (inconnue dans la réalité) pour les étudiants aux
USA est :
E (colGPAjhsGPA) = 1.5 + 0.5hsGPA
E (colGPAjhsGPA) = note générale moyenne des étudiants
en fonction de hsGPA

Si hsGPA = 3.6 alors la moyenne de colGPA pour tous les étudiants qui
sont sortis du lycée avec une note de 3,6 sera :
1.5 + 0.5(3.6) = 3.3
6= chaque étudiant pour lequel hsGPA = 3.6 aura une note égale à 3.3 à la
…n de la licence.
16
1. Dé…nition du MRLS

Le MRLS peut être décomposé en deux parties :

y= β +β x + u
|{z}
| 0 {z 1 }

= E (y jx ) partie spéci…que

partie systématique de y (non expliquée par x)

17
2. Les moindres carrés ordinaires

Echantillon aléatoire de N individus issus de la population que l’on souhaite

étudier.

xi , yi et ui sont respectivement les réalisations des variables x, y et u

pour un individu i.

Pour chaque individu i, on peut écrire :

yi = β0 + β1 xi + ui

xi et yi sont les ièmes observations des variables x et y

ui est la réalisation non observée de la perturbation pour l’individu i

18
2. Les moindres carrés ordinaires
Exemple : Diagramme de dispersion de l’épargne (y = savings) et du revenu
(x = income) pour 15 familles, et fonction de régression de la population
(nécessairement imaginaire).

19
2. Les moindres carrés ordinaires

Soit le modèle pour la population

y = β0 + β1 x + u

L’estimation de ce modèle sur un échantillon représentatif de la population

fournit :
yb = b
β0 + bβ1 x

Terminologie :
b
β0 et b
β1 sont les estimateurs de β0 et β1
yb est la valeur ajustée, valeur estimée ou prédiction, avec yb = b
β0 + b
β1 x
b est appelé résidu ou résidu estimé (ce n’est pas le terme d’erreur mais son
u
estimation)

20
2. Les moindres carrés ordinaires

Exemple : Epargne et revenu

Soit le modèle savings = β0 + β1 income + u

Si b
β0 et b
β1 sont les estimateurs de β0 et β1 , alors :

\i =b
savings β0 + b
β1 incomei

donne la valeur prédite de savings pour l’individu i caractérisé par la valeur

incomei observée

L’erreur de l’estimation pour l’individu i est donnée par :

bi = savingsi
u \ i = yi
savings b
β0 b
β1 incomei

21
2. Les moindres carrés ordinaires
bi correspond à la distance verticale entre le point de la ième observation
u
et la droite d’équation yb = b
β0 + b
β1 x
b b
yb = β0 + β1 x correspond à l’estimation de E (y jx ) = β0 + β1 x : c’est la
fonction de régression de l’échantillon

22
2. Les moindres carrés ordinaires
Soit le modèle y = β0 + β1 x + u

Objectif : Obtenir une estimation "correcte" de β0 et β1 .

=) Régression de y sur x a…n de trouver la droite d’équation yb = b

β0 + b
β1 x
passant le plus près possible de tous les points du nuage.
=) Minimiser l’erreur d’estimation.

Erreur d’estimation mesurée par la somme des carrés des résidus :

N N 2
∑ bi2 =
u ∑ yi b
β0 b
β1 xi = S (b
β0 , b
β1 )
i =1 i =1

=) b
β0 et b
β1 sont solutions du programme : minbβ ,bβ S (b
β0 , b
β1 )
0 1
=) b
β0 et b
β1 sont les estimateurs des moindres carrés ordinaires (MCO).

Remarque 1 : le "carré" permet de donner la même importance aux erreurs par

ui > 0) ou par défaut (b
excès (b ui < 0).
Remarque 2 : moindres carrés ordinaires (MCO) = ordinary least squares (OLS)
en anglais
23
2. Les moindres carrés ordinaires

Conditions du premier ordre :

8 N
> ∂S ( b
β0 , b (1)
∑ ( yi
> β1 ) b b
>
< = 2 β0 β 1 xi ) = 0
∂bβ0
i =1
> N
> ∂S ( b
β0 , b
∑ xi ( yi
> β1 ) b b
: = 2 β0 β 1 xi ) = 0
∂bβ1
i =1 (2)

=) Système de 2 équations linéaires à deux inconnues b

β0 et b
β1

24
2. Les moindres carrés ordinaires
On réécrit la condition (1) :

!
N N N N
2 ∑ ( yi b
β0 b
β 1 xi ) = 2 ∑ yi ∑ bβ0 ∑ bβ1 xi
i =1 i =1 i =1 i =1
!
N N
= 2 ∑ yi Nb
β0 b
β1 ∑ xi
i =1 i =1

= 2N y b
β0 b
β1 x =0

=)
y=b
β0 + b
β1 x

N N
où y = 1
N ∑ yi et x = 1
N ∑ xi désignent respectivement les moyennes
i =1 i =1
arithmétiques de y et x dans l’échantillon.
25
2. Les moindres carrés ordinaires

D’après la condition (1) : b

β0 = y b
β1 x

Combinée à la condition (2), on obtient :

N N
∑ xi ( yi b
β0 b
β 1 xi ) = ∑ xi (yi (y b
β1 x ) b
β 1 xi )
i =1 i =1
N
= ∑ xi (yi y b
β 1 ( xi x ))
i =1
N N
= ∑ xi (yi y) b
β1 ∑ xi ( xi x) = 0
i =1 i =1

26
2. Les moindres carrés ordinaires
N
∑ ( xi x ) = 0, d’où :
i =1

N N
∑ xi ( yi y) b
β1 ∑ xi ( xi x)
i =1 i =1
0 1

N N BN N C
B C
= ∑ xi ( yi y) x ∑ ( yi y) b
B ∑ xi (xi
β1 B x) x ∑ ( xi x )C
C
i =1 i =1 @ i =1 i =1 A
| {z } | {z }
=0 =0
N N
= ∑ ( xi x )(yi y) b
β1 ∑ ( xi x )2 = 0
i =1 i =1
=)
N N
∑ ( xi x )(yi y) = b
β1 ∑ (xi x )2
i =1 i =1

27
2. Les moindres carrés ordinaires
Estimateurs des MCO

b
β0 = y b
β1 x
N
∑ ( xi x )(yi y)
Cov emp (x, y ) N
b
β1 = i =1
N
=
Var emp (x )
avec ∑ ( xi x )2 6 = 0
∑ ( xi
i =1
x )2
i =1

=) b β0 et b
β1 sont des variables aléatoires (car fonction de variables aléatoires)
=) Les réalisations de ces variables aléatoires dépendent des valeurs prises par
x et y dans l’échantillon.
=) A chaque échantillon correspond une seule estimation, donc une seule
réalisation de b
β0 et b
β1
N
∑ ( xi x )2 6= 0 se véri…e dès lors que les observations xi dans l’échantillon ne
i =1
sont pas toutes égales à la même valeur.
28
2. Les moindres carrés ordinaires
Exemple : Soient le salaire annuel (y = salary ) pour une population de PDG et
le rendement moyen des capitaux propres (x = roe) réalisé par l’entreprise du
PDG sur les trois dernières années.
On dispose de 3 échantillons de la population et à chacun correspond une
estimation.

29
2. Les moindres carrés ordinaires

yb = b
β0 + b
β1 x
Interprétation des coe¢ cients :

b
β0 est la valeur prédite de y lorsque x = 0 (n’a de sens que si la valeur
x = 0 est possible et que l’échantillon utilisé contient des valeurs égales ou
très proches de 0)

b
β1 permet de prédire les variations de y en fonction des variations de x :

y=b
∆b β1 ∆x

Si Cov (x , y ) > 0, alors b

β1 > 0

Si Cov (x , y ) < 0, alors b

β1 < 0

30
2. Les moindres carrés ordinaires
Exemple : Salaire horaire et niveau d’instruction
Soient y = wage = salaire horaire, mesuré en USD
et x = educ = nombre d’année d’études.
Données récoltées pour 526 personnes en 1976 (N = 526) .

31
2. Les moindres carrés ordinaires
On estime par les MCO le modèle :
wage = β0 + β1 educ + u
Le logiciel SAS fournit les résultats de la régression de wage sur educ.

32
2. Les moindres carrés ordinaires

L’équation estimée est donc :

[
wage = 0.90 + 0.54educ

Interprétation :

Une année supplémentaire augmente le salaire horaire de 0, 54 dollars =)

∆educ = 4 années d’études implique ∆w
[ age = 2.16$

Littéralement, une valeur de 0, 90 pour la constante signi…e que le salaire

horaire estimé est de 0, 90 dollars quand educ = 0 =) aucun sens !

Dans l’échantillon, educ = 0 pour 2 personnes et educ < 8 pour 18

personnes uniquement =) mauvaises estimations pour de faibles valeurs
de educ

33
2. Les moindres carrés ordinaires

[
wage = 0.90 + 0.54educ

34
3. Propriétés algébriques des MCO

On parle ici des propriétés véri…ées par construction.

1 La droite de régression passe par le point moyen de l’échantillon car

y=b β0 + bβ1 x.

2 D’après les conditions du premier ordre :

N
∑ ubi = 0
i =1

N
∑ xi ubi = 0 () Cov emp (x, ub) = 0
i =1

35
3. Propriétés algébriques des MCO
La qualité d’ajustement du modèle

Pour chaque observation, on a :

yi = ybi + u
bi

On peut donc décomposer chaque observation yi en 2 composantes, une valeur

ajustée ybi et une valeur résiduelle u
bi qui ne sont pas corrélées.

36
3. Propriétés algébriques des MCO
La qualité d’ajustement du modèle

Pour l’ensemble de l’échantillon :

N N N
∑ ( yi y )2 = ∑ (ybi + ubi y )2 = ∑ (ybi bi )2
y +u
i =1 i =1 i =1

D’après les propriétés précédentes (diapo 35), on a Cov emp (yb, u

b) = 0 et y = yb,
d’où :
N N N N
∑ ( yi y )2 = ∑ (ybi yb)2 + ∑ bi2 + 2 ∑ u
u bi (ybi yb)
i =1 i =1 i =1 i =1
| {z }
=0

37
3. Propriétés algébriques des MCO
La qualité d’ajustement du modèle

N N N
∑ ( yi y )2 = ∑ (ybi yb)2 + ∑ ubi2
i =1 i =1 i =1
| {z } | {z } | {z }
SCT SCE SCR

SCT = Somme des carrés totaux

SCE = Somme des carrés estimés
SCR = Somme des carrés des résidus.

38
3. Propriétés algébriques des MCO
La qualité d’ajustement du modèle

SCT = SCE + SCR

En divisant, chacune de ces trois statistiques par N, on obtient une

décomposition de la variance de y :

1 1 1
SCT = SCE + SCR
N N N

1 1 1
SCT = SCE + SCR
|N {z } |N {z } |N {z }

= Var emp (y ) = Var emp (yb) = Var emp (ub)

= variance empirique = variance empirique = variance empirique

de y expliquée par le modèle résiduelle

39
3. Propriétés algébriques des MCO
La qualité d’ajustement du modèle

Le modèle donne une représentation simpli…ée du phénomène économique

étudié : quelle est la qualité du modèle ?

=) quelle est la part de la variance de y expliquée par le modèle ?

Var emp (yb) SCE SCR

R2 = emp = =1
Var (y ) SCT SCT

R 2 ("R carré") est appelé coe¢ cient de détermination.

Il est compris entre 0 et 1.

40
3. Propriétés algébriques des MCO
La qualité d’ajustement du modèle

Interprétation :

R 2 = 0 signi…e qu’il n’existe pas de relation linéaire entre yi et xi .

R 2 = 1 signi…e qu’il existe une relation linéaire parfaite entre yi et xi .

Plus R 2 est élevé, plus la droite de régression sera proche des observations
yi .

=) Le R 2 est une statistique utile mais qui ne renseigne ni sur la causalité ni

sur la …abilité de l’estimation.

41
3. Propriétés algébriques des MCO
La qualité d’ajustement du modèle

Dans la régression de wage sur educ, le niveau d’éducation explique 16,48% de

la variation de salaire horaire.

42
4. Les unités de mesure et la forme fonctionnelle
Les unités de mesure

Exemple : La régression du salaire annuel des PDG en milliers de dollars

américains (salary ) sur le rendement sur capitaux propres en pourcentage (roe)
donne le résultat suivant :

\=b
salary β0 + b
β1 roe = 963.191 + 18.501roe

Interprétation :

\ = 963.191, soit un salaire annuel estimé à

Si roe = 0, alors salary
963 191$.

Si roe augmente de 1 (point de pourcentage), l’augmentation du salaire

sera estimée à 18 501$.

43
4. Les unités de mesure et la forme fonctionnelle
Les unités de mesure

Soit salardol = 1000 salary , le salaire annuel en dollars. La régression de

salardol sur roe donne l’estimation :

\ =b
salardol β0 + b
β1 roe = 963191 + 18501roe

β0 = 1000b
=) b β1 = 1000b
β0 et b β1

Soit roedec = roe/100, le rendement sur capitaux propres exprimé sous la

forme décimale. La régression de salary sur roedec donne l’estimation :

\=b
salary β0 + b
β1 roe = 963.191 + 1850.1roedec

=) b
β0 = b
β0 et b
β1 = 100b
β1

44
4. Les unités de mesure et la forme fonctionnelle
Les unités de mesure

Connaître les unités de mesure des variables y et x permet d’interpréter les

coe¢ cients de l’estimation.
Supposons le MRLS de y sur x : y = β0 + β1 x + u. Soit c une constante :
Si y = cy , alors le MRLS de y sur x est :
y = cy
= c ( β0 + β1 x + u )
= c β0 + c β1 x + cu
|{z} |{z}
= β0 = β1
= β0 + β1 x + u avec β0 = c β0 , β1 = c β1 et u = cu
Si x = cx, alors le MRLS de y sur x donne :
y = β0 + β1 x + u
β
= β0 + 1 x + u
c
β1
= β0 + β1 x + u avec β1 =
c 45
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle

Le modèle est linéaire dans les paramètres mais cela n’exclut pas certaines
formes de non-linéarité dans les variables.

Il n’y a pas de restrictions sur la forme que peut prendre y ou x

=) Les variables expliquées et/ou explicatives peuvent correspondre au carré,

au logarithme, à la racine carrée, ... d’une variable.

IMPORTANT : en économétrie, on utilise très souvent la notation log au lieu

de ln pour désigner le logarithme népérien.

46
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle niveau-niveau

Modèle étudié jusqu’à présent :

y = β0 + β1 x + u

=) Relation linéaire entre x et y

L’e¤et marginal de x sur y est constant

∂y
= β1
∂x

=) Chaque unité supplémentaire de x fait varier y de β1 unités.

47
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle niveau-niveau

Exemple : Salaire horaire et niveau d’instruction

[
wage = 0.90 + 0.54 educ

=) Chaque année d’études supplémentaire fait augmenter le salaire horaire de

0,54$.

=) Est-ce réaliste ?

=) Comment introduire de la non-linéarité ?

48
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle log-niveau

A partir de la variable aléatoire y , on crée une nouvelle variable aléatoire log(y )

qui devient la variable expliquée :

log(y ) = β0 + β1 x + u

On peut réécrire le modèle précédent pour évaluer l’e¤et marginal de x sur y :

y = exp( β0 + β1 x + u )

D’où :
∂y
= β1 exp( β0 + β1 x + u ) = β1 y
∂x

49
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle log-niveau

Interprétation de β1 :

∂y ∆y
Sachant , on a :
∂x ∆x

∆y ∆y
β1 y () = taux de variation de y β1 ∆x
∆x y

=) Chaque unité supplémentaire de x (∆x = 1) fait varier y de (100 β1 )%.

50
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle log-niveau

Exemple : Salaire horaire et niveau d’instruction

Soit la variable aléatoire log(wage ). L’estimation du modèle log-niveau donne :

log\
(wage ) = 0.584 + 0.083educ
=) Chaque année d’études supplémentaire fait augmenter le salaire horaire de
8,3%.
=) L’e¤et d’une année d’études supplémentaire est croissant.

51
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle log-log

A partir des variables aléatoires x et y , on crée deux nouvelles variables

aléatoires log(x ) et log(y )

Le MRLS devient

log(y ) = β0 + β1 log(x ) + u

On peut réécrire le modèle précédent pour évaluer l’e¤et marginal de x sur y :

y = exp( β0 + β1 log(x ) + u )

D’où :
∂y exp( β0 + β1 log(x ) + u ) y
= β1 = β1
∂x x x

52
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle log-log

Interprétation de β1 :

∂y x
β1 =
∂x y

=) β1 correspond à l’élasticité de y à x.

=) Lorsque x augmente de 1%, alors y augmente de β1 %

=) Le modèle est un modèle à élasticité constante.

53
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle log-log

Exemple : Salaire des PDG et chi¤re d’a¤aires

Estimons un modèle à élasticité constante pour expliquer le salaire des PDG

(salary ) par le chi¤re d’a¤aires de l’entreprise (sales) qu’ils dirigent, les 2
variables étant exprimées en millions de dollars américains.

Le modèle à élasticité constante est :

log(salary ) = β0 + β1 log(sales ) + u

=) β1 mesure l’élasticité de salary par rapport à sales.

54
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle log-log

L’estimation du modèle par les MCO donne :

log\
(salary ) = 4.822 + 0.257 log(sales )
=) Une hausse de 1 % du chi¤re d’a¤aires conduit à une hausse du salaire du
PDG d’environ 0,257 %.

55
4. Les unités de mesure et la forme fonctionnelle
La forme fonctionnelle : modèle niveau-log

A partir de la variable aléatoire x, on crée une nouvelle variable aléatoire log(x )

qui devient la variable explicative :

y = β0 + β1 log(x ) + u

D’où l’e¤et marginal de x sur y :

∂y β
= 1
∂x x

Interprétation de β1 :
∂y ∆y
Sachant , on a :
∂x ∆x
∆y β1 ∆x
() ∆y β1
∆x x x

∆x
=) Une hausse de x de 1% ( = 0.01) fait varier y de 0.01 β1 unités.
x
56
4. Les unités de mesure et la forme fonctionnelle

Soit un changement d’unité de mesure : y = cy () log(y ) = log(c ) + log(y )

modèle avec la variable expliquée transformée par une fonction log :

Exemple : si y = cy , alors le MRLS de log (y ) sur x est :

log (y ) = log c + log y

= log c + β0 + β1 x + u
= β0 + β1 x + u avec β0 = log c + β0

modèle avec la variable explicative transformée par une fonction log :

Exemple : si x = cx , alors le MRLS de y sur log (x ) est :

y = β0 + β1 log (x ) + u
= β0 + β1 (log (x ) log (c )) + u
= β0 β1 log (c ) + β1 log (x ) + u
= β0 + β1 log (x ) + u avec β0 = β0 β1 log (c )

=) Dans tous les cas, seule la constante est modi…ée.

57
4. Les unités de mesure et la forme fonctionnelle

Modèle Variable expliquée Variable explicative Interprétation de β1

niveau-niveau y x ∆y = β1 ∆x
∆x
niveau-log y log(x ) ∆y = β1
x
∆y
log-niveau log(y ) x = 100 β1 ∆x
y
∆y ∆x
Log-Log log(y ) log(x ) = β1
y x

Modèle niveau-niveau : une hausse de 1 unité de x fait varier y de β1 unités.

Modèle niveau-log : une hausse de 1% de x fait varier y de 0.01 β1 unités.
Modèle log-niveau : une hausse de 1 unité de x fait varier y de (100 β1 )%.
Modèle log-log : une hausse de 1% de x fait varier y de β1 %.

Il est possible d’introduire d’autres types de non-linéarité en utilisant

notamment des formes quadratiques (abordé au chapitre 2).
58
5. Propriétés statistiques des MCO

Soit le MRLS :

y = β0 + β1 x + u

Les estimateurs b
β0 et b
β1 sont des variables aléatoires
=) Chaque réalisation dépend de l’échantillon utilisé pour réaliser
l’estimation.

Objectif : étudier les propriétés statistiques de b

β0 et b
β1
=) Etudier les propriétés des distributions de b
β0 et b
β1
=) Repose sur un ensemble d’hypothèses faites sur la population.

59
5. Propriétés statistiques des MCO

Hypothèse RLS.1 (Linéarité dans les paramètres)

Dans le modèle issu de la population, on a :

y = β0 + β1 x + u

Où β0 et β1 sont les paramètres (inconnus) au sein de la population.

=) Le modèle est linéaire par rapport aux paramètres β0 et β1 .

u est le terme d’erreur non observé.

Hypothèse RLS.2 (Echantillonnage aléatoire)

Nous disposons d’un échantillon aléatoire de taille N, f(xi , yi ) : i = 1, ..., N g,
tiré de la population.

Remarque : hypothèse non véri…ée pour les séries chronologiques.

60
5. Propriétés statistiques des MCO

Hypothèse RLS.3 (Variation de la variable explicative au sein de

l’échantillon)
Les éléments de x au sein de l’échantillon, à savoir fxi : i = 1, ..., N g, n’ont pas
tous la même valeur.
N
=) La variance Var emp (x ) = 1
N ∑ (xi x )2 de fxi : i = 1, ..., N g est non
i =1
nulle.

Hypothèse RLS.4 (Espérance conditionnelle de l’erreur égale à zéro)

Le terme d’erreur u a¢ che une espérance égale à zéro, quelle que soit la valeur
de x. Autrement dit,
E (u jx ) = 0.

61
5. Propriétés statistiques des MCO
Les hypothèses RLS.2 et RLS.4 permettent de raisonner comme si les xi
étaient …xes en échantillons répétés.

1 Supposons que dans une population, on tire un échantillon aléatoire

caractérisé par N valeurs de x (une valeur pour chaque observation i).
2 Sur la base des N valeurs de x, on peut constituer un nouvel échantillon tel
que pour chaque valeur xi , on choisit au hasard dans la population un
individu qui satisfait cette valeur de xi .
=) Chaque échantillon constitué de cette manière est donc caractérisé par les
mêmes valeurs de xi

Hypothèse RLS.2bis
Nous disposons d’un échantillon aléatoire de taille N, fyi : i = 1, ..., N g, tiré de
la population pour des xi non aléatoires.

=) Echantillon aléatoire, avec E (ui jxi ) = 0, en considérant que les xi sont

…xes d’un échantillon à l’autre.
=) Hypothèse non nécessaire qui simpli…e les calculs.
62
5. Propriétés statistiques des MCO

Absence de biais des MCO

Sous les hypothèses RLS.1 à RLS.4, les estimateurs des MCO sont des
estimateurs sans biais.

E ( β̂0 ) = β0
E ( β̂1 ) = β1

=) La moyenne des estimations sur tous les échantillons aléatoires possibles

correspond à la vraie valeur des paramètres.

Démonstration :
N N
∑ ( xi x )(yi y) ∑ ( xi x ) ( β 1 ( xi x ) + ui u)
b i =1 i =1
β1 = =
N N
∑ ( xi x )2 ∑ (xi x )2
i =1 i =1

63
5. Propriétés statistiques des MCO

N
∑ ( xi x )ui
N
(xi x)
b
β1 = β1 + i =1
N
= β1 + ∑ wi ui avec wi =
N
∑ ( xi ∑ ( xi
i =1
x )2 x )2
i =1 i =1

D’où :
E (b
β1 ) = β1 + wi E (ui ) = β1

d’après RLS.2bis et car β1 est le vrai paramètre (inconnu) non aléatoire.

64
5. Propriétés statistiques des MCO

b
β0 = y b
β1 x = β0 + β1 x + u b
β1 x = β0 + ( β1 b
β1 )x + u

Sachant E (b
β1 ) = β1 , on obtient :

E (b
β0 ) = β0 + E ( β1 b
β1 )x = β0

Attention :
1 L’absence de biais est une caractéristique des distributions
d’échantillonnage. Cela ne dit rien sur l’estimation que nous pouvons
obtenir à partir d’un échantillon donné.
Nous pouvons espérer que l’estimation sera proche de la vraie valeur mais
nous n’en sommes jamais certain.
2 La propriété d’absence de biais est violée dès qu’une des 4 hypothèses du
MRLS ne tient pas, mais la plus importante est RLS.4.
=) Hypothèse clé : dès que x et u sont corrélés alors b β1 ne donne pas
l’e¤et causal de x sur y .
65
5. Propriétés statistiques des MCO

Les MCO fournissent des estimateurs sans biais.

Mais dans quelle mesure b
β0 et b
β1 seront éloignés de β0 et β1 en moyenne ?

La dispersion des estimateurs est mesurée par leur variance.

Une hypothèse supplémentaire permet alors de faciliter le calcul de la

variance de b
β0 et b
β1

Hypothèse RLS.5 (Homoscédasticité)

La variance de l’erreur u est constante, quelle que soit la valeur de x. En
d’autres termes,
Var (u jx ) = σ2 .

σ2 , appelée variance de l’erreur, est inconnue.

Remarque : Cette hypothèse ne joue aucun rôle pour montrer que b
β0 et b
β1 sont
sans biais.
66
5. Propriétés statistiques des MCO

D’après RLS.1 à RLS.5, on a :

Var (ui jxi ) = σ2 et E (u 2 jx ) = σ2 = E (u 2 ) = Var (u )

Cov (ui , uj jx ) = E (ui uj jx ) = E (ui uj ) = 0 8i 6= j

Var (y jx ) = σ2

67
5. Propriétés statistiques des MCO

Sous RLS.5 :

68
5. Propriétés statistiques des MCO
Exemple : Salaire horaire et niveau d’instruction

E (wage jeduc ) = β0 + β1 educ

Sous RLS.5, on aurait :
Var (u jeduc ) = Var (wage jeduc ) = σ2
=) La variance de wage ne dépend pas du niveau d’éducation.
=) Pas réaliste !

69
5. Propriétés statistiques des MCO

Variances d’échantillonnage des estimateurs

Sous les hypothèses RLS.1 à RLS.5 :
0 1
N
B∑ xi2 C
σ2 x 2 σ2 B i =1 C
Var (b
β0 ) = + = Var ( b
β ) B C
N NVar emp (x ) 1 B N C
@ A

σ2 σ2
Var (b
β1 ) = =
N NVar emp (x )
∑ ( xi x )2
i =1

70
5. Propriétés statistiques des MCO

Démonstration :
N
( xi x)
b
β1 = β1 + ∑ wi ui avec wi =
N
∑ ( xi
i =1
x )2
i =1

Sous RLS.2bis :

!
N N
Var (b
β1 ) = Var ∑ wi ui = ∑ Var (wi ui )
i =1 i =1
N N N
= ∑ wi2 Var (ui ) = ∑ wi2 σ2 = σ2 ∑ wi2
i =1 i =1 i =1

71
5. Propriétés statistiques des MCO
Sachant ∑N 2
i = 1 wi =
1 , on obtient :
∑N
i =1 (x i x )
2

σ2 σ2
Var (b
β1 ) = =
∑N
i = 1 ( xi x )2 NVar emp (x )

Passons à b
β0 :

Var (b
β0 ) = Var (y b
β1 x ) = Var ( β0 + u (b
β1 β1 )x )
= Var (u ) + x 2 Var (b
β ) 1

D’où : !
σ2 x 2 σ2 ∑N 2
i =1 xi
Var (b
β0 ) = + = Var (b
β1 )
N NVar emp (x ) N

Car Var (u ) = Var ( N1 ∑N N σ2 σ2

i =1 ui ) =
1
N2 ∑N
i =1 Var (ui ) = N2
= N
72
5. Propriétés statistiques des MCO
σ2 σ2
Var (b
β1 ) = =
N NVar emp (x )
∑ ( xi x )2
i =1

Plus la variance de l’erreur σ2 est élevée, plus la variance de l’estimateur b

β1
est élevée.
=) Une grande variation dans les facteurs inobservés rend l’estimation de
β1 moins précise.
Plus la variance de x est grande, plus la variance de l’estimateur b β1 est
faible.
=) Plus l’échantillon de la variable explicative contient un large éventail
de valeurs di¤érentes pour les xi , plus il est facile de caractériser la relation
entre E (y jx ) et x et, par conséquent, d’estimer β1 .
Plus la taille de l’échantillon N est importante, plus la variance de
l’estimateur bβ1 est faible.
=) La variance des estimateurs permet d’identi…er les facteurs qui in‡uencent
leur précision mais elle est inconnue puisque σ2 est inobservable.
=) On estime σ2 pour ensuite estimer Var (b β0 ) et Var (b
β1 )
73
5. Propriétés statistiques des MCO
Sachant σ2 = E (u 2 ), si il était possible d’obersver les erreurs ui , un
N
estimateur sans biais de σ2 serait 1
N ∑ ui2 :
i =1
N N
1 1
E(
N ∑ ui2 ) = N ∑ E (ui2 ) = σ2
i =1 i =1

Problème : on ne peut pas observer les erreurs ui

bi dans la formule précédente ?

Peut-on simplement remplacer ui par u
les erreurs ui sont issues du modèle sur la population yi = β0 + β1 xi + ui
bi sont calculés à partir de l’estimation yi = b
les résidus u β0 + b bi
β1 xi + u

=) On s’attend donc à ce que ubi 6= ui , même si E (ubi ) = ui

N
=) L’estimateur 1
N ∑ ubi2 est alors biaisé.
i =1
74
5. Propriétés statistiques des MCO

bi
u = yi ybi = yi (b
β0 + b
β 1 xi )
bi
u = ui b b
( β0 β0 ) ( β1 β1 )xi

=) On s’attend donc à ce que ubi 6= ui .

=) Par construction des estimateurs b β0 et b bi doivent satisfaire 2
β1 , les résidus u
contraintes auxquelles ne sont pas soumis les erreurs ui :
N
∑ ubi = 0
i =1
N
∑ xi ubi = 0
i =1

N
=) Même si E (ubi ) = ui , l’estimateur 1
N ∑ ubi2 ne tient pas compte des deux
i =1
contraintes et est biaisé.
75
5. Propriétés statistiques des MCO
Nous n’avons que N 2 degrés de libertés pour construire un estimateur non
bi .
biaisé à partir des résidus u
Estimateur sans biais de σ2
Sous les hypothèses RLS.1 à RLS.5 :
N
1
2 i∑
c2 =
σ bi2
u
N =1

D’où :
Estimation sans biais des variances d’échantilllonnage
Sous les hypothèses RLS.1 à RLS.5 :
!
c2 x2σ c2 ∑N 2
\ σ \ i =1 xi
Var (b
β0 ) = + = Var (b
β1 )
N NVar emp (x ) N

c2 c2
\
Var (b
β1 ) =
σ
=
σ
∑N
i = 1 ( xi x )2 NVar emp (x )
76
5. Propriétés statistiques des MCO
Les logiciels fournissent généralement :
L’écart type estimé des erreurs, appelé écart-type de la régression :
q r
1 N
N 2 ∑ i =1 i
b= σ =
σ c2 b2
u

=) Sous SAS, cet estimateur est désigné par "root MSE" (= root mean
squared error)
Les écart-types estimés de b
β0 et b
β1 :

s v !
u
c2 x2σ c2 u \ ∑N 2
σ tVar (b i =1 xi
b(b
σ β0 ) = + = β1 )
N NVar emp (x ) N

b
σ b
σ
b(b
σ β1 ) = q = p
∑N x )2 NVar emp (x )
i = 1 ( xi

77
5. Propriétés statistiques des MCO
Exemple : Salaire horaire et niveau d’instruction

78
Résumé des hypothèses

Les propriétés statistiques des MCO reposent sur les hypothèses de

Gauss-Markov : 9
>
>
RLS.1 : y = β0 + β1 x + u >
>
>
>
>
>
>
>
RLS.2 : échantillonnage aléatoire = Nécessaires pour
=)
>
RLS.3 : variation de xi au sein de l’échantillon >
>
>
> l’absence de biais
>
>
>
>
RLS.4 : E (u jx ) = 0 >
;

RLS.5 : Var (u jx ) = Var (u ) = σ2 =) pour déterminer la variance des

estimateurs

Hypothèse E (u jx ) = 0 probablement non véri…ée pour un MRLS

=) On passe donc au modèle linéaire multiple pour essayer de réduire la
quantité d’information contenue dans u.

79