la méthode des moindres carrés

Ibtissam Mohsine Kaoutar Ouakki

16 octobre 2025

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 1 / 31
Plan

1 la méthode des moindres carrés ”la régression simple”

Introduction
objectif
Formulation de problème
Résolution de problème de minimisation
Exemple
2 la méthode des moindres carrés ”la régression multiple”
Définition du modèle
Notation matricielle
Fonction à minimiser
Vérification du minimum
Interprétation géométrique
Propriétés sous hypothèses classiques
Exemple analytique simplifié

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 2 / 31
Introduction

Au départ, on commence par une série statistique à deux variables : une

variable expliquée Y et une variable explicative X .
Cette série peut être représentée graphiquement par un nuage de points .

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 3 / 31
objectif
Ajuster le nuage de points par une droite à condition que la droite ajuste
au mieux ce nuage de points.

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 4 / 31
objectif

Soit Y = aX + b l’équation de la droite de régression.

Il faut que la somme de tous les écarts soit la plus petite possible.
Mais si l’on fait simplement la somme des écarts, certains écarts sont
positifs et d’autres négatifs, ce qui fait que les écarts négatifs compensent
les écarts positifs.
C’est pourquoi on utilise la somme des carrés des écarts plutôt que la
somme des écarts.

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 5 / 31
Formulation de problème

X
(Pi Mi )2 soit minimale
Calculons la distance Pi Mi .
On a Mi à comme cordonnés (xi , yi ) et Pi à comme cordonnés (xi , axi + b)
q
2
d(Pi , Mi ) = (xi − xi )2 + yi − (axi + b)
Comme (xi − xi )2 = 0, il reste :

Pi Mi = yi − (axi + b)

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 6 / 31
Formulation de problème

Soit
n n
X
2
X
2
E= (Pi Mi ) = yi − (axi + b)
i=1 i=1

La formule finale de problème de minimisation sera Min E(a,b)

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 7 / 31
Résolution de problème de minimisation

dérivation de E(a,b) par rapport à a :

n h n
∂E X
i X

= 2 yi − axi − b (−xi ) = −2 xi yi − axi − b
∂a
i=1 i=1
n n n
!
X X X
2
= −2 xi yi − a xi − b xi .
i=1 i=1 i=1

résodre l’égalité
∂E
=0
∂a
n n n
!
∂E X X X
= −2 xi yi − a xi2 − b xi =0
∂a
i=1 i=1 i=1

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 8 / 31
Résolution de problème de minimisation

n
X n
X n
X
xi yi − a xi2 − b xi = 0
i=1 i=1 i=1
n
X n
X X n
a xi2 + b xi = xi yi
i=1 i=1 i=1
On dévise par n l’égalité
n n n
1X 2 1X 1X
a xi + b xi = xi yi
n n n
i=1 i=1 i=1
On sait que
n
1X
x= xi
n
i=1
Finalement on obtient :
n n
1X 2 1X
a xi + bx = xi yi
n n
Ibtissam Mohsine, Kaoutar Ouakki i=1 i=1
la méthode des moindres carrés 16 octobre 2025 9 / 31
Résolution de problème de minimisation

dérivation de E(a,b) par rapport à b :

n n
∂E Xh
i X

= 2 yi − axi − b (−1) = −2 yi − axi − b
∂b
i=1 i=1
n n n
!
X X X
= −2 yi − a xi − b
i=1 i=1 i=1
n n
!
X X
= −2 yi − a xi − nb .
i=1 i=1

résodre l’égalité
∂E
=0
∂b

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 10 / 31
Résolution de problème de minimisation

n n n n
X X 1X 1X
nb = yi − a xi ⇒ b= yi − a xi
n n
i=1 i=1 i=1 i=1
n n
1X 1X
b = y − a x, où y= yi , x= xi
n n
i=1 i=1

Ce qui montre que le centre de gravité G (x, y ) appartient à la droite de

régression .
Donc on trouve que l’équation de régression peut s’écrire sous forme
y − y = a(x − x)
Remplaçons l’expression de b qu’on a déja trouvé :

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 11 / 31
Résolution de problème de minimisation

P P 2
xi yi xi
=a + (ȳ − a x̄) x̄
n n
P P 2
xi yi xi
=a + x̄ ȳ − a x̄ 2
n n
P P 2 
xi yi xi 2
− x̄ ȳ = a − x̄
n n

Cov(x, y ) = a Vx

Cov(x, y )
a=
Vx

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 12 / 31
Exemple

On souhaite prévoir la note finale d’un étudiant en fonction du nombre

d’heures qu’il a étudié.
Variable indépendante (x) : le nombre d’heures d’étude par semaine
Variable dépendante (y ) : la note obtenue par l’étudiant
L’idée est de voir s’il existe une relation linéaire : plus l’étudiant étudie,
plus sa note est élevée.

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 13 / 31
Exemple

Étudiant Heures d’étude (x) Note (y )

1 2 65
2 3 70
3 5 75
4 7 85
5 9 95
Table – Données des étudiants : heures d’étude et notes obtenues

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 14 / 31
Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 15 / 31
Définition du modèle

On considère le modèle linéaire multiple :

Y = β0 + β1 X1 + β2 X2 + · · · + βk Xk + ε

Y : variable dépendante
X1 , X2 , . . . , Xk : variables explicatives
β0 , β1 , . . . , βk : coefficients inconnus
ε : terme d’erreur aléatoire

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 16 / 31
Notation matricielle

En notation matricielle :
Y = Xβ + ε
avec :


  β0  
1 X11 . . . X1k  β1  Y1
 .. .. ..  ,
X = . β =  . , Y =  ... 
   
. .   .. 
1 Xn1 . . . Xnk Yn
βk

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 17 / 31
Fonction à minimiser

La méthode des moindres carrés consiste à minimiser :

n
X
S(β) = (Yi − Ŷi )2 = (Y − X β)⊤ (Y − X β)
i=1

Pour trouver le minimum, on dérive S(β) par rapport à β et on égalise à

zéro :
∂S
= −2X ⊤ (Y − X β) = 0
∂β
⇒ X ⊤Y − X ⊤X β = 0

⇒ β̂ = (X ⊤ X )−1 X ⊤ Y
C’est la formule des moindres carrés ordinaires (MCO).

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 18 / 31
Vérification du minimum

On peut vérifier que c’est un minimum en examinant la matrice Hessienne :

∂2S
H= = 2X ⊤ X
∂β∂β ⊤

- X ⊤ X est positive définie si les colonnes de X sont linéairement

indépendantes - donc H est positive définie → on a bien un minimum
global

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 19 / 31
Interprétation géométrique

Y est un vecteur dans Rn

X β̂ est la projection orthogonale de Y sur le sous-espace engendré
par les colonnes de X
Les résidus ε̂ = Y − X β̂ sont orthogonaux à ce sous-espace
Le plan de régression minimise la somme des carrés des distances
verticales

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 20 / 31
Propriétés sous hypothèses classiques

Sous les hypothèses classiques (linéarité, espérance nulle des erreurs,

homoscédasticité, non-corrélation, indépendance) :
Estimateurs non biaisés :
E [β̂] = β
Variance minimale parmi les estimateurs linéaires :

Var(β̂) = σ 2 (X ⊤ X )−1

β̂ est BLUE (Best Linear Unbiased Estimator)

On peut construire des intervalles de confiance et effectuer des tests

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 21 / 31
Exemple analytique simplifié

Considérons 4 observations :

i X1 (âge) X2 (études) Y (salaire)

1 25 10 10 000
2 30 12 13 000
3 35 15 16 000
4 40 18 19 000

Matrice X : inclut la colonne 1 pour l’intercept

Vecteur Y : salaires observés

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 22 / 31
Calcul matriciel pour β̂

   
4 130 55 58 000
X ⊤ X = 130 4350 1855 , X ⊤ Y = 1 960 000
55 1855 793 838 000

β̂ = (X ⊤ X )−1 X ⊤ Y
Après calcul (ou inversion matricielle), on obtient :

β̂0 ≈ 2000, β̂1 ≈ 300, β̂2 ≈ 400

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 23 / 31
Prédictions et résidus

Prédictions :
Ŷ i = β̂0 + β̂1 X 1i + β̂2X 2i

Ŷ1 = 13 500, Ŷ2 = 15 800, Ŷ3 = 18 500, Ŷ4 = 21 200

Résidus :
ε̂i = Yi − Ŷi = −3500, −2800, −2500, −2200
Ces résidus sont exactement les distances verticales que la méthode des
moindres carrés minimise.

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 24 / 31
Interprétation des coefficients

β̂0 = 2000 : salaire de base théorique

β̂1 = 300 : chaque année d’âge augmente le salaire de 300
β̂2 = 400 : chaque année d’étude augmente le salaire de 400
La somme des carrés des résidus est minimale

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 25 / 31
Code R - Création de la figure 3D

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 26 / 31
Explication du code

scatterplot3d() : trace le nuage de points (valeurs observées).

plane3d(modele) : affiche le plan de régression du modèle linéaire.
predict(modele) : calcule les valeurs de salaire prédites.
Boucle for : ajoute les croix rouges (valeurs prédites) et les segments
des résidus.

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 27 / 31
Résultat graphique

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 28 / 31
 Points bleus : salaires observés.
Plan bleu clair : plan de régression (valeurs estimées).
Croix rouges : salaires prédits.
Segments rouges : résidus (erreurs du modèle).

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 29 / 31
Interprétation de la figure

La plupart des points sont proches du plan → bon ajustement du

modèle.
Les segments courts signifient des erreurs faibles.
Les points éloignés du plan représentent des observations atypiques.
Le plan montre comment le salaire varie avec l’âge et les études.
Cette visualisation illustre clairement la méthode des moindres carrés.

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 30 / 31
9. Conclusion

La régression multiple permet d’expliquer une variable par plusieurs

facteurs
La méthode des moindres carrés fournit le plan qui minimise les
résidus
Les coefficients sont interprétables
La démonstration matricielle assure qu’on a un minimum global

Ibtissam Mohsine, Kaoutar Ouakki la méthode des moindres carrés 16 octobre 2025 31 / 31