Myriam Maumy‐Bertrand
MCB2A Formation continue 2014/2015
Références
Myriam Maumy-Bertrand - MCB2A 2014/2015
Introduction
But : rechercher une relation stochastique qui
lie deux ou plusieurs variables
Domaines :
Physique, chimie, astronomie
Biologie, médecine
Géographie
Economie
…
Myriam Maumy-Bertrand - MCB2A 2014/2015
1. Relation entre deux variables
Considérons X et Y deux variables.
Exemple : la taille (X) et la masse (Y)
But : savoir comment Y varie en fonction de X
Dans la pratique :
Échantillon de n individus
Relevé de la taille et de la masse pour l’individu i
Tableau d’observations ou données pairées.
Myriam Maumy-Bertrand - MCB2A 2014/2015
1. Relation entre deux variables
Observations Taille Masse
1 160 57,9
2 165 68,5
3 170 72,7
4 175 67,4
5 180 67,4
6 185 74,1
7 190 72,6
Myriam Maumy-Bertrand - MCB2A 2014/2015
1. Relation entre deux variables
Myriam Maumy-Bertrand - MCB2A 2014/2015
1. Relation entre deux variables
Pour montrer qu’il existe une relation linéaire entre deux
variables quantitatives, nous pouvons calculer le
coefficient de corrélation linéaire de Bravais‐Pearson.
Pour une définition de ce coefficient, nous renvoyons à
un des ouvrages recommandés. Avec R, nous obtenons :
> cor(masse,taille)
[1] 0.7128531
Comme ce coefficient est relativement proche de 1, il
semblerait qu’il existe une relation linéaire entre ces
deux variables.
Myriam Maumy-Bertrand - MCB2A 2014/2015
2. Relation déterministe
Dans certains cas, la relation est exacte.
Exemples :
X en euros, Y en dollars
X distance ferroviaire, Y prix du billet.
Y = f(X)
où f est une fonction déterminée.
Exemples pour f : fonctions linéaires, fonctions
affines...
Myriam Maumy-Bertrand - MCB2A 2014/2015
2. Relation déterministe
Remarque importante :
Nous utiliserons le terme de fonction « linéaire »
pour désigner une fonction « affine »
f ( X ) 0 1 X
où et 1 sont des réels fixés.
Myriam Maumy-Bertrand - MCB2A 2014/2015
2. Relation déterministe
Exemple : X en Celsius, Y en Farenheit
Y=32 + 9/5 X.
Ici nous avons en identifiant : = 32 et 1 = 9/5.
Souvent nous savons que la relation entre X et Y est
linéaire mais les coefficients sont inconnus.
Myriam Maumy-Bertrand - MCB2A 2014/2015
2. Relation déterministe
En pratique comment faisons‐nous ?
Échantillon de n données
Vérifier que les données sont alignées.
Si ce cas est vérifié, alors nous avons : un modèle
linéaire déterministe.
Myriam Maumy-Bertrand - MCB2A 2014/2015
2. Relation déterministe
Si ce cas n’est pas vérifié, alors nous allons chercher :
la droite qui ajuste le mieux l’échantillon, c’est‐à‐
dire nous allons chercher un modèle linéaire non
déterministe.
Les n observations vont permettre de vérifier si la
droite candidate est adéquate.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
La plupart des cas ne sont pas des
modèles linéaires déterministes !
(la relation entre X et Y n’est pas exacte)
Exemple : X la taille et Y la masse.
A 180 cm peuvent correspondre plusieurs masses :
75 kg, 85 kg, …
Les données ne sont plus alignées.
Pour deux masses identiques, nous avons deux tailles
différentes.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Une hypothèse raisonnable : X et Y sont liés
Dans l’exemple précédent : plus un individu est
grand, plus il est lourd
Y 0 1 X
: est une variable qui représente le comportement
individuel.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Exemple :
70 individus qui sont répartis de la façon suivante :
10 individus/taille
7 tailles (de 160 à 190 cm, pas de 5 cm)
Nous allons traiter cet exemple avec le logiciel R. Les
lignes de commande qui permettent de tracer le
graphe représentatif des couples sont présentées
dans deux transparents.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Voici le tableau de données
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
> taille<‐
rep(seq(from=160,to=190,by=5),c(10,10,10,10,10,10,10))
> masse<‐
c(57.9,58.9,63.3,56.8,66.8,64.5,67.1,58,62.9,57.7,68.5,69
.8,58.5,66.3,65.8,61,74.5,59.3,67.8,70.1,72.7,75.1,68,72.2,
65.3,65.2,68.3,62.3,67.8,66.5,67.4,67.7,62.6,70.6,72,68.3
,72.9,63.4,80.7,67.3,67.4,70.6,72.4,73.2,72.8,66.4,73,78,
71.8,72,74.1,74.4,72,66.1,69.4,71.8,73.8,69.1,72.3,72.8,72.
6,81.1,78.3,72.9,79.6,77.1,84.5,74,77.5,75.2)
> plot(masse~taille)
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Commentaires :
Plusieurs Y pour une même valeur de X.
Modèle linéaire déterministe inadéquat.
Cependant Y augmente quand X augmente.
Modèle linéaire stochastique
envisageable.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Définition du modèle linéaire stochastique :
Y ( x) 0 1 x
Y (x) : moyenne de Y mesurée sur tous les individus
pour lesquels X vaut x.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Remarques :
Comme ε, μY (x) n’est ni observable, ni calculable.
Pour calculer μY (x), il faudrait recenser tous les
individus de la population.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Dans la pratique :
Nous estimons la moyenne théorique μY (x) par la
moyenne empirique de Y définie par :
1 n
y n ( x ) yi ( x )
n i 1
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Retour à l’exemple : nous allons calculer la
moyenne par tranche d’âge.
Pour cela nous allons utiliser le logiciel R.
> tableau<‐[Link](masse,taille)
> moyenne<‐
tapply(tableau$masse,tableau$taille,mean)
> moyenne
160 165 170 175 180 185 190
61.39 66.16 68.34 69.29 71.76 71.58 77.28
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Taille Masse moyenne
160 61,39
165 66,16
170 68,34
175 69,29
180 71,76
71,58
185
77,28
190
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
La droite que nous venons de tracer s’appelle :
la droite de régression.
X et Y ne jouent pas un rôle identique.
X explique Y X est une variable indépendante
(ou explicative) et Y est une variable dépendante
(ou expliquée).
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
En analyse de régression linéaire :
xi est fixé
yi est aléatoire
la composante aléatoire d’un yi est le εi
correspondant.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Pour l’instant, la droite de régression est inconnue.
Tout le problème est d’estimer β0 et β1 à partir d’un
échantillon de données.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Choix des paramètres : droite qui approche le
mieux les données
introduction de ̂ 0 et ̂1qui sont des
estimateurs de β0 et de β1.
L’estimation de la droite de régression :
yˆ ( x) ˆ0 ˆ1 x
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Remarques :
yˆ ( x) est un estimateur de μY(x)
Si le modèle est bon, yˆ ( x) est plus précis que
1 n
y n ( x ) yi ( x )
n i 1
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Lorsque x = xi, alors yˆ ( xi ) yˆ i , c’est‐à‐dire :
yˆ i ˆ0 ˆ1 xi
ŷi est appelée la valeur estimée par le modèle.
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Ces valeurs estiment les quantités inobservables :
i yi 0 1 xi
par les quantités observables :
ei yi yˆ i
Myriam Maumy-Bertrand - MCB2A 2014/2015
3. Relation stochastique
Ces quantités ei = les résidus du modèle.
La plupart des méthodes d’estimation : estimer la
droite de régression par une droite qui minimise
une fonction de résidus.
La plus connue : la méthode des moindres carrés
ordinaires.
Myriam Maumy-Bertrand - MCB2A 2014/2015
4. Méthode des moindres carrés
ordinaires
Méthode : Définir des estimateurs qui minimisent
la somme des carrés des résidus
n n
i i i
e 2
i 1
( y ˆ
y )
i 1
2
n
( yi ˆ0 ˆ1 xi ) 2
i 1
Myriam Maumy-Bertrand - MCB2A 2014/2015
4. Méthode des moindres carrés
ordinaires
Les estimateurs sont donc les coordonnées du
minimum de la fonction à deux variables :
n
z f ( 0 , 1 ) ( yi 0 1 xi ) 2
i 1
Cette fonction est appelée la fonction objectif.
Myriam Maumy-Bertrand - MCB2A 2014/2015
4. Méthode des moindres carrés
ordinaires
Les estimateurs correspondent aux valeurs annulant
les dérivées partielles de cette fonction :
z
2 ( yi 0 1 xi )
0
z
2 xi ( yi 0 1 xi )
1
Myriam Maumy-Bertrand - MCB2A 2014/2015
4. Méthode des moindres carrés
ordinaires
Les estimateurs sont les solutions du système :
2 ( yi 0 1 xi ) 0
2 xi ( yi 0 1 xi ) 0
Soient :
(4.1) y nˆ ˆ x
i 0 1 i
(4.2) x y
i
ˆ
i x ˆ
x
0 i 1
2
i
Myriam Maumy-Bertrand - MCB2A 2014/2015
4. Méthode des moindres carrés
ordinaires
Nous notons :
xn
x i
et yn
y i
n n
D’après (4.1), nous avons :
ˆ0 yn ˆ1 xn
Myriam Maumy-Bertrand - MCB2A
2014/2015
4. Méthode des moindres carrés
ordinaires
A partir de (4.2), nous avons :
ˆ1 xi2 xi yi ˆ0nxn
xi yi nxn yn ˆ1n( xn ) 2
Ainsi nous obtenons :
ˆ1 x y nx y
i i n n
x n( x )
2
i n
2
Myriam Maumy-Bertrand - MCB2A
2014/2015
4. Méthode des moindres carrés
ordinaires
Comme nous avons :
( x x )( y y ) x y nx y
i n i n i i n n
( x x ) x n( x )
i n
2 2
i n
2
Ainsi nous obtenons :
ˆ1 ( x x )( y y )
i n i n
(x x ) i n
2
Myriam Maumy-Bertrand - MCB2A
2014/2015
4. Méthode des moindres carrés
ordinaires
Dans la pratique, nous calculons ˆ1 puis ˆ0
Nous obtenons une estimation de la droite de
régression, appelée la droite des moindres
carrés ordinaires :
yˆ ( x) ˆ0 ˆ1 x
Myriam Maumy-Bertrand - MCB2A
2014/2015
4. Méthode des moindres carrés
ordinaires
Pour obtenir les coefficients de la droite des
moindres carrés et le graphique qui superpose à
la fois les points et la droite, voici les lignes de
commande qu’il faut effectuer :
> modele1<‐lm(masse~taille)
> abline(coef(modele1),col="red")
coef(modele1)
(Intercept) taille
‐8.0125000 0.4423571
Myriam Maumy-Bertrand - MCB2A
2014/2015
4. Méthode des moindres carrés
ordinaires
Myriam Maumy-Bertrand - MCB2A 2014/2015
5. Variation expliquée et inexpliquée
But d’un modèle de régression linéaire :
expliquer une partie de la variation de la variable
expliquée Y.
La variation de Y vient du fait de sa dépendance à la
variable explicative X.
Variation expliquée par le modèle.
Myriam Maumy-Bertrand - MCB2A 2014/2015
5. Variation expliquée et inexpliquée
Dans l’exemple « taille‐masse », nous avons remarqué
que lorsque nous mesurons Y avec une même valeur de
X, nous observons une certaine variation sur Y.
Variation inexpliquée par le modèle.
Myriam Maumy-Bertrand - MCB2A 2014/2015
5. Variation expliquée et inexpliquée
Variation totale de Y
= Variation expliquée par le modèle
+ Variation inexpliquée par le modèle
Myriam Maumy-Bertrand - MCB2A 2014/2015
5. Variation expliquée et inexpliquée
Pour mesurer la variation de Y : nous introduisons y
n
( yi yn ) ( yˆ i yn ) ( yi yˆ i )
Différence expliquée Différence inexpliquée par
par le modèle le modèle ou résidu du
modèle
Myriam Maumy-Bertrand - MCB2A 2014/2015
5. Variation expliquée et inexpliquée
Pourquoi la méthode des moindres carrés ?
Un propriété remarquable : elle conserve une telle
décomposition en considérant la somme des carrés
de ces différences :
( y i yn ) ( yˆ i yn ) ( yi yˆ i )
2 2 2
Myriam Maumy-Bertrand - MCB2A 2014/2015
5. Variation expliquée et inexpliquée
( yi y n ) ( yi y n ) ( yi yi )
2
ˆ 2
ˆ 2
Somme des Somme des Somme des
carrés totale carrés due à la carrés des
régression résidus
(SCtot)
(SCreg) (SCres)
Myriam Maumy-Bertrand - MCB2A 2014/2015
5. Variation expliquée et inexpliquée
Mesure du pourcentage de la variation totale
expliquée par le modèle :
Introduction d’un coefficient de détermination
Variation expliquée SC reg
R
2
Variation totale SC tot
Myriam Maumy-Bertrand - MCB2A
2014/2015
5. Variation expliquée et inexpliquée
Quelques remarques :
R2 est compris entre 0 et 1.
R2 =1 : cas où les données sont parfaitement alignées
(comme c’est le cas pour un modèle déterministe).
R2 =0 : cas où la variation de Y n’est pas due à la
variation de X. Les données ne sont pas du tout
alignées.
Plus R2 est proche de 1, plus les données sont alignées
sur la droite de régression.
Myriam Maumy-Bertrand - MCB2A 2014/2015