STATISTIQUE APPLIQUEE

Chap. III : Régression linéaire simple

Rachid MCHICH
Chap. III : Régression linéaire simple
I. Modèle de régression linéaire simple

II. Méthode des moindres carrés

III. Coefficient de détermination

IV. Hypothèses du modèle

V. Test de signification

VI. Utilisation de l’équation estimée de la

régression pour l’estimation et la prévision
Introduction
— Relation entre dépenses publicitaires et
ventes

— Relation entre température maximale

journalière et demande en électricité

Var. dépendante vs Var. indépendante

I. Modèle de régression linéaire simple

Le modèle de régression utilisé dans une régression

linéaire simple s’écrit :

y = β0 + β1 x + ε

y : variable à expliquer (dépendante)

x : variable explicative (indépendante)

β0 et β1 correspondent aux paramètres du modèle

ε est une variable aléatoire appelée: terme d’erreur.
Ce terme prend en compte la variabilité de y qui
n’est pas expliquée par la relation linéaire entre x et
y.
Le terme ε mesure la différence entre les valeurs
réellement observées et les valeurs qui auraient été
observées si la relation spécifiée avait été
rigoureusement exacte. Ce terme regroupe donc trois
erreurs :

— Une erreur de spécification : le fait que la seule

variable explicative n’est pas suffisante pour rendre
compte de la totalité du phénomène expliqué;

— une erreur de mesure, les données ne représentent

pas exactement le phénomène;

— une erreur de fluctuation d’échantillonnage : d’un

échantillon à l’autre les observations, et donc les
estimations, sont légèrement différentes.
 Chaque distribution des valeurs de y a sa propre
moyenne. L’équation qui décrit comment la
moyenne de y est liée à x est appelée : équation
de la régression linéaire simple. Elle est donnée
par :
E(y) = β0 + β1 x
CasA: CasB: CasC:
Relation linéaire positive Relation linéaire négative Pas de relation

E(y) E(y) E(y)

Ordonnée
à l'origine
Ordonnée
{Jo
à l'origine La pentcp,est nulle
( )IIIUlIlléc
{Jo 1--------
l'UIIKIIlC Droite de régression
{Jo
Droite de régression

~------------------x L------------------x

YI 12.1 Droites de régression possibles dallS une régressiOlllinéllire simple

En pratique, la valeur des paramètres n’est pas connue
et doit être estimée en utilisant les données d’un
échantillon. D’où l’équation estimée de la
régression linéaire simple :
ŷ = b0 + b1 x
(droite de régression estimée)

Modèle de régression Données de l'échantillon

y = fio + filX +E x y
Équation de la régression
E(y) = fio + filx
Paramètres inconnus
fioet fi1

Estimer
Les valeurs de
l'équation de la régression
b et b
O l
y = bo + b1x
sont les estimations de
Statistiques d'échantillon
boetbl

Figure 12.2 Processus d'estimation dans le cadre d'une régression linéaire simple
Deux questions fondamentales se posent :

1. Quel modèle statistique semble le plus

approprié pour décrire la forme de la liaison
entre les variables concernées ?

1. En admettant comme plausible un modèle

particulier, comment peut-on, avec les
données disponibles, estimer les
paramètres du modèle avec plus de
justesse ?
II. La méthode des moindres carrés :

La méthode des moindres carrés est une procédure qui

permet d’utiliser les données de l’échantillon pour estimer
l’équation de la régression (b0 et b1). Elle consiste à
minimiser la somme des écarts au carré :

2
min ∑ (yi − ŷi )

Ainsi, la pente et l’ordonnée à l’origine de l’équation

estimée de la régression sont données par :

b =
∑ (x − x )(y − y)
i i
1 b0 = y − b1 x
∑(x − x )
i
2
Exemple : Considérons les données collectées sur les
ventes mensuelles d’un échantillon de 10 restaurants d’une
chaîne de restaurants, par-rapport à la population locale :

Restaurant i Population Ventes mensuelles

(en milliers : xi) (en milliers de dh)
1 2 58
2 6 105
3 8 88
4 8 118
5 12 117
6 16 137
7 20 157
8 20 169
9 22 149
10 26 202
III. Coefficient de détermination :

Une fois l’équation estimée de la régression établie,

la question qui se pose est : Dans quelle mesure
cette équation s’ajuste-t-elle aux données?

Nous montrerons ainsi que le coefficient de

détermination fournit une mesure de l’adéquation
de l’équation estimée de la régression.
Pour la ième observation, le ième résidu (ou erreur
commise) est donné par :
yi − ŷi
La somme de ces résidus, ou erreurs, au carré
correspond à la quantité minimisée par la méthode
des moindres carrés. Cette quantité, aussi appelée :
somme des carrés des résidus, est donnée par :

2
SCres = ∑ (yi − ŷi )

La valeur de SCres est une mesure de l’erreur

commise en utilisant l’équation estimée de la
régression pour estimer les valeurs de la variable
dépendante dans l’échantillon.
D’autre part, pour estimer les yi sans utiliser les xi,
on utilise y la moyenne des yi. Ainsi, pour la ième
observation, yi − y fournit une mesure de l’erreur
commise en utilisant y pour estimer les ventes.

D’où la somme des carrés totale donnée par:

2
SCT = ∑ (yi − y )
On peut interpréter la SCT comme une mesure de
l’ajustement des observations autour de la droite y
et SCres comme une mesure de l’ajustement des
observations autour de la droite ŷ .
Enfin, pour déterminer dans quelle mesure les
valeurs ŷ de la droite de régression dévient de la
moyenne y, une autre somme des carrés est calculée.

Cette somme est appelée somme des carrés de

la régression, et elle est donnée par :

2
SCreg = ∑ ( ŷi − y )
Ainsi, on a :
SCT = SCreg + SCres

A noter que :

— SCreg peut être considérée comme la partie

expliquée de SCT ,

et

— SCres comme la partie inexpliquée de SCT.

Le ratio (SCreg/SCT) est utilisé pour évaluer
l’adéquation de l’équation estimée de la régression.
Ce ratio est appelé coefficient de
détermination et est noté :
2 SCreg
r =
SCT

Pour notre exemple :

2 SCreg 14200
r = = = 0, 9027
SCT 15730
— Cela veut dire que 90,27% de la SCT peut être
expliquée en utilisant l’équation estimée de la
régression :
ŷ = 60 + 5x

pour prévoir les ventes mensuelles.

— En d’autres termes, 90,27% de la variation des

ventes mensuelles peut s’expliquer par la relation
linéaire entre la taille de la population et les
ventes mensuelles.

Une telle adéquation de l’équation estimée de la

régression est satisfaisante.
D’autre part, le coefficient de corrélation de
l’échantillon peut être calculé de la façon suivante :

rxy = (signe de b1 ) r 2

Pour notre exemple :

rxy = (signe de b1 ) r 2 = +0, 9501

On peut donc conclure qu’il existe une forte

relation linéaire positive entre x et y.
Remarques :
1. Dans le cas d’une relation linéaire entre deux variables, le
coefficient de détermination et le coefficient de
corrélation fournissent une mesure de robustesse de la
relation.

2. Le coefficient de détermination est compris entre 0 et 1,

tandis que le coefficient de corrélation est compris entre
-1 et 1.

3. Alors que le coefficient de corrélation est restreint à des

relations linéaires entre deux variables, le coefficient de
détermination peut être utilisé dans le cas de relations
non-linéaires et de relations comprenant plus de deux
variables indépendantes.
IV. Hypothèses du modèle :

Même avec une valeur du coefficient de

détermination assez élevé, une analyse approfondie
de la robustesse du modèle supposé doit être faite.

Pour cela, des tests de signification doivent être

effectués et sont basés sur les hypothèses suivantes,
concernant le terme d’erreur ε :
Hypothèses sur le terme d’erreur ε dans le modèle
de la régression : y = β0 + β1 x + ε

(H1) E(ε ) = 0 (donc E(y) = β0 + β1 x )

(H2) La variance de ε notée σ 2 est la même pour

toutes les valeurs de x.

(H3) Les valeurs de ε sont indépendantes entre

elles.

(H4) Le terme d’erreur ε est une v. a. normalement

distribuée (et donc y aussi).
[Link] de signification :

Pour l’équation de régression simple, on a :

E(y) = β0 + β1 x

Ainsi, si β1 = 0 alors E(y) = β0 ; càd x et y ne sont

pas liées;

sinon, les deux variables le sont (si β1 ≠ 0 ).

Il faudrait donc effectuer un test d’hypothèses pour

déterminer si β1 = 0 .
Pour tester si la relation est significative,
nous devons effectuer un test d’hypothèses
pour déterminer si β1 = 0 .

Deux tests sont habituellement utilisés. Les

deux requièrent une estimation de σ 2 , la
variance de ε (et donc de y (H2)).
Estimation de σ 2 :

— La moyenne des carrés des résidus fournit

une estimation de σ 2 :
2 SCres
s = MCres =
n−2
((n-2) ddl)

MCres fournit une estimation sans biais de σ 2 .

— Erreur type de l’estimation :

SCres
s = MCres =
n−2
V-1 Test t de Student :

On teste les hypothèses suivantes concernant β1 :

H 0 : β1 = 0
H a : β1 ≠ 0

Notons d’abord que b0 et b1 sont des statistiques

d’échantillonnage qui ont leur propre distribution
d’échantillonnage; ainsi :
— Les propriétés de la distribution d’échantillonnage
pour b1 sont données par :

Espérance : E(b1 ) = β1

σ
Ecart type de b1 : σ b1 =
∑ i
(x − x ) 2

Forme de la distribution: Normale.

— Comme σ n’est pas connue, alors on calcule :

s
Ecart type estimé de b1 : sb1 =
∑ i
(x − x ) 2
L’écart type de b1 est également appelé : Erreur type de
b1 . Ainsi, sb1 fournit une estimation de l’erreur type de
b1 .
Le test de signification de Student est basé sur le fait
que la statistique de test
b1 − β1
t=
sb1
suit une loi de Student à (n-2) ddl. Si l’hypothèse
nulle est vraie, alors β1 = 0 et donc :
b1
t=
sb1
Et ainsi on a le test de signification de Student
suivant :
— Test de signification de Student dans le cadre
d’une régression linéaire simple :
H 0 : β1 = 0
H a : β1 ≠ 0

b1
— Statistique de test : t=
sb1

— Règle de rejet :
– Approche par la valeur p : Rejet de H0 si p ≤ α
– Approche par la valeur critique : Rejet de H0 si
t ≤ −tα /2 ou t ≥ tα /2
où tα /2 est basé sur la distribution de Student à (n-2) ddl.
V-2 Intervalle de confiance pour β1 :

L’intervalle de confiance pour β1 est :

b1 ± tα /2 sb1

au coefficient de confiance (1− α ) et à (n-2) ddl.

V-3 Test F de Fisher :

Un test de Fisher, basé sur la distribution de Fisher,

peut également être utilisé pour tester si une
relation est significative.

Pour une seule variable indépendante, les tests de

Student et de Fisher donnent le même résultat.

Pour plusieurs variables indépendantes, seul le test

de Fisher reste valable.
Siβ1 = 0 , alors la moyenne des carrés de la
régression fournit une autre estimation de σ 2 :
SCreg
MCreg =
Nbr ddl
Pour les modèles de régression considérés ici, le
nombre ddl = nbr de var. indépendantes; càd. :

SCreg SCreg
MCreg = =
Nbr de var. indépendantes 1
Test F de Fisher :

Statistique du test de Fisher :

MCreg
F=
MCres
MCreg suit une loi de Fisher avec 1 ddl au
MCres
numérateur et n-2 ddl au dénominateur
— Test de signification de Fisher:

H 0 : β1 = 0
H a : β1 ≠ 0

— Statistique de test : F = MCreg

MCres

— Règle de rejet :
– Approche par la valeur p : Rejet de H0 si p ≤ α
– Approche par la valeur critique : Rejet de H0 si
F ≥ Fα
où Fαest basé sur la distribution de Fisher à 1 ddl au
numérateur et (n-2) ddl au dénominateur.
Tableau ANOVA :

Source Somme Degrés Moyenne des carrés F

de la des de liberté
variation carrés
Régression SCreg 1 SCreg MCreg
MCreg = F=
1 MCres

SCres
Résidu SCres n-2 MCres =
n−2

Totale SCT n-1

Remarques :

1. Les tests de Fisher et de Student conduisent à des

résultats identiques dans le cadre d’une régression
linéaire simple.

2. Rejeter l’hypothèse nulle et conclure que la relation

entre x et y est statistiquement significative ne nous
permet pas de conclure qu’une relation de cause à
effet relie x et y.
3. Le fait de rejeter H0 et de conclure à l’existence d’une
relation significative ne nous permet pas de conclure
que la relation est linéaire entre x et y (x et y sont
liées et une relation linéaire explique une partie de la
variabilité de y par rapport à x).

4. Dans la mesure où la relation est significative, nous

pouvons utiliser (avec confiance) l’équation estimée
de la régression pour effectuer des prévisions pour
des valeurs de x appartenant à l’intervalle des valeurs
observées dans l’échantillon.
5. Très peu d’estimations sont faites sur β 0 :
 Inférence sur β0 :
Distribution d’échantillonnage
La distribution d’échantillonnage de l’estimateur b0 est une distribution
normale :
) # & ,
1/2

+ % ( .
2
+ % 1 x ( .
b0 N + β0 ;σ + n .
%n 2 (
+
+ % ∑ ( xi − x ) ( .
.
* $ i=1 ' -

b0 − β0
z=
σ ( b0 )
z N (0,1)
 Inférence sur β0:
Remarque : Dans le cas d’un petit échantillon, l’écart réduit suit une loi
de Student :

b0 − β 0
t= T (n − 2)
s ( b0 )
1/ 2
# &
% (
%1 x2 (
s (b0 ) = s% + (
n n
2
% ∑ ( xi − x) (
%
$ i =1
(
'
Remarque : Dans le cas où la taille de l’échantillon est grande, la
distribution de l’écart réduit est

b0 − β 0
t= N ( 0;1)
s ( b0 )
Intervalle de confiance pour β0 :

L’intervalle de confiance pour β0 est :

b0 − s ( b0 ) × tα /2; (n−2) ≤ β0 ≤ b0 − s ( b0 ) × tα /2; (n−2)

f(n-2)
1-α

α/2 α/2

- ta / 2;(n -2 ) t a / 2 ;( n - 2 )
Densité de probabilité de la loi
Student avec (n-2) degré de liberté
Exercice :
Considérons le tableau d’observations suivant:
xi 1 2 3 4 5
yi 3 7 5 11 14

a) Représenter le nuage de points associé à ces données.

b) Développer l’équation estimée de la régression.
c) Utiliser l’équation estimée de la régression pour prévoir
la valeur de y lorsque x=4.
d) Calculer la MCres et l’erreur type de l’estimation.
e) Calculer l’écart type estimé de b1.
f) Utiliser le test de Student et de Fisher pour tester les
hypothèses suivantes :
H 0 : β1 = 0
H a : β1 ≠ 0
g) Présenter les résultats sous forme d’un tableau ANOVA.