Algèbre Linéaire

Projections et Moindres Carrés

Auteur : E. Erraitab

Date : March 3, 2025

AIAC
2
Contents

1 Projections et Moindres Carrés 5

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Projection en Deux Dimensions . . . . . . . . . . . . . . . . . . . 5
1.2.1 Géométrie de la Projection . . . . . . . . . . . . . . . . . 5
1.2.2 Calcul de la Projection . . . . . . . . . . . . . . . . . . . . 5
1.2.3 Matrice de Projection . . . . . . . . . . . . . . . . . . . . 6
1.3 Explication d’une matrice idempotente . . . . . . . . . . . . . . . 7
1.4 Interprétation Géométrique . . . . . . . . . . . . . . . . . . . . . 7
1.5 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 Interprétation de l’Exemple . . . . . . . . . . . . . . . . . . . . . 7
1.7 Pourquoi aurions-nous besoin de la projection ? . . . . . . . . . . 8
1.8 Que faire dans ce cas ? . . . . . . . . . . . . . . . . . . . . . . . . 8
1.9 Comment la projection intervient-elle ? . . . . . . . . . . . . . . 8
1.10 Généralisation à des Dimensions Supérieures . . . . . . . . . . . . 11
1.10.1 Projection sur un Sous-Espace . . . . . . . . . . . . . . . 12
1.10.2 Solution des Moindres Carrés . . . . . . . . . . . . . . . . 12
1.11 Application aux Moindres Carrés . . . . . . . . . . . . . . . . . . 12
1.11.1 Exemple : Ajustement d’une Ligne . . . . . . . . . . . . . 13
1.12 Calcul des dérivées partielles . . . . . . . . . . . . . . . . . . . . 14
1.12.1 Dérivée par rapport à C . . . . . . . . . . . . . . . . . . . 14
1.12.2 Dérivée par rapport à D . . . . . . . . . . . . . . . . . . . 14
1.13 Système des équations normales . . . . . . . . . . . . . . . . . . . 15
1.14 Résolution du système . . . . . . . . . . . . . . . . . . . . . . . . 15
1.15 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.16 RLS : Système matriciel à résoudre . . . . . . . . . . . . . . . . . 19
1.16.1 Définition de l’erreur . . . . . . . . . . . . . . . . . . . . . 19
1.16.2 Minimisation de l’erreur . . . . . . . . . . . . . . . . . . . 19
1.17 Calcul de l’inverse de la matrice . . . . . . . . . . . . . . . . . . . 20
1.18 Calcul de (A, B) . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.19 Expressions finales de A et B . . . . . . . . . . . . . . . . . . . . 20
1.20 Formules en fonction de la covariance et de la variance . . . . . . 21
1.21 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.22 Le modèle de régression linéaire multiple . . . . . . . . . . . . . . 21
1.23 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3
4 CONTENTS

1.23.1 Résultats généraux . . . . . . . . . . . . . . . . . . . . . . 22

1.24 Estimation du vecteur des paramètres θ par les Moindres Carrés
Ordinaires (MCO) . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.24.1 Formulation du Problème . . . . . . . . . . . . . . . . . . 22
1.24.2 Dérivation de l’Estimateur θ̂ . . . . . . . . . . . . . . . . 23
Chapter 1

Projections et Moindres
Carrés

1.1 Introduction
Dans ce chapitre, nous explorons le concept de projection et son application
dans la méthode des moindres carrés. Nous commencerons par un cas simple
en deux dimensions, puis généraliserons à des dimensions supérieures. Enfin,
nous verrons comment ces concepts sont utilisés pour résoudre des systèmes
d’équations surdéterminés.

1.2 Projection en Deux Dimensions

Considérons un vecteur b que nous souhaitons projeter sur un vecteur a. L’objectif
est de trouver le point sur la ligne définie par a qui est le plus proche de b. Ce
point est appelé la projection de b sur a, notée p.

1.2.1 Géométrie de la Projection

La projection p est le point sur la ligne définie par a qui minimise la distance
entre b et cette ligne. La clé pour trouver p réside dans l’orthogonalité : le
vecteur erreur e = b − p doit être perpendiculaire à a, ce qui donne l’équation
suivante :
a⊤ (b − p) = 0. (1.1)

1.2.2 Calcul de la Projection

Puisque p est un multiple de a, nous écrivons p = xa, où x est un scalaire. En
substituant dans l’équation d’orthogonalité, nous obtenons :

a⊤ (b − xa) = 0. (1.2)

5
6 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

Figure 1.1: Illustration d’une projection, image 1

En réarrangeant les termes :

xa⊤ a = a⊤ b (1.3)
a⊤ a est juste un scalaire, en résolvant pour x, nous trouvons :

a⊤ b
x= . (1.4)
a⊤ a
Ainsi, la projection p est donnée par :

aa⊤ b
p= . (1.5)
a⊤ a

1.2.3 Matrice de Projection

La projection peut être exprimée sous forme de matrice :

aa⊤
P = . (1.6)
a⊤ a
aa⊤
Donc, on a projp = P b, où la matrice de projection P est : a⊤ a
.
Avec :

• b : le vecteur que l’on projette.

• a : le vecteur directeur de la droite.

• p : la projection orthogonale de b sur la droite définie par a.

• a⊤ b : produit scalaire entre a et b.

• a⊤ a : produit scalaire de a avec lui-même, soit ∥a∥2 .

1.3. EXPLICATION D’UNE MATRICE IDEMPOTENTE 7

L’espace colonne de cette matrice P est 1 (L’espace colonne d’une matrice est
quand on multiplie cette matrice par un vecteur on se demande en quel di-
mensions attérit ce vecteur). Donct on a : Column(P ) = linethrougha, donc
le range de P est 1. Cette matrice est symétrique (P ⊤ = P ), idempotente
(P 2 = P ) et de rang 1.

1.3 Explication d’une matrice idempotente

Une matrice P telle que P 2 = P est appelée une matrice idempotente.
Cette propriété signifie que lorsque vous multipliez la matrice par elle-même,
vous obtenez la même matrice en retour. En d’autres termes, appliquer la
transformation représentée par P une deuxième fois ne change pas le résultat.

1.4 Interprétation Géométrique

Les matrices idempotentes sont souvent associées à des projections. En effet,
une matrice idempotente P peut être interprétée comme une matrice de projec-
tion sur un sous-espace vectoriel. Lorsque vous appliquez P à un vecteur, vous
projetez ce vecteur sur un sous-espace, et réappliquer P ne change rien car le
vecteur est déjà dans ce sous-espace.

1.5 Exemple
Considérons la matrice P suivante :
 
1 0
P =
0 0

Vérifions que P 2 = P :
      
1 0 1 0 1·1+0·0 1·0+0·0 1 0
P2 = P · P = = = =P
0 0 0 0 0·1+0·0 0·0+0·0 0 0

Ainsi, P est bien une matrice idempotente.

1.6 Interprétation de l’Exemple

La matrice P projette tout vecteur de R2 sur l’axe des x. Par exemple, si nous
prenons un vecteur v :  
x
v=
y
alors :     
1 0 x x
Pv = =
0 0 y 0
8 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

Le résultat est la projection de v sur l’axe des x. Si nous appliquons P une

deuxième fois, nous obtenons :
   
x x
P (P v) = P =
0 0

Ce qui confirme que P 2 = P .

1.7 Pourquoi aurions-nous besoin de la projec-

tion ?
Nous pourrions avoir besoin de la projection lorsque nous sommes confrontés à
un système d’équations Ax = b qui n’a pas de solution exacte. Cela se produit
souvent dans le cas de systèmes surdéterminés, c’est-à-dire lorsque le nombre
d’équations est supérieur au nombre d’inconnues. Dans ce cas, il est impossible
de trouver un vecteur x qui satisfasse toutes les équations simultanément. Du
fait que b n’appartient pas à l’espace colonne de A. Donc on change b par le
vecteur le plus proche est qu’est dans l’espace colonne de A qui est p. On résout
donc Ax̂ = p au lieu de Ax = b, où p est la projection de b sur l’espace colonne
de A

1.8 Que faire dans ce cas ?

Au lieu de chercher une solution exacte, nous cherchons une solution approchée
qui minimise l’erreur entre Ax et b. C’est ici que la projection entre en jeu. La
projection nous permet de trouver le vecteur x̂ qui minimise la distance entre
Ax et b, c’est-à-dire qui minimise :

∥Ax − b∥2

Ce vecteur x̂ est appelé la solution aux moindres carrés.

1.9 Comment la projection intervient-elle ?

La solution aux moindres carrés revient à projeter le vecteur b sur l’espace
colonne de A. En effet, l’espace colonne de A représente tous les vecteurs Ax
possibles. Si b n’est pas dans cet espace, nous cherchons le point de l’espace
colonne de A qui est le plus proche de b. Ce point est la projection de b sur
l’espace colonne de A, et il correspond à Ax̂.

Application : Calcul de x − p
Pour calculer concrètement x − p, où p est la projection d’un vecteur x sur un
sous-espace vectoriel V , on suit les étapes suivantes :
1.9. COMMENT LA PROJECTION INTERVIENT-ELLE ? 9

1. Trouver une base de V

Soit V un sous-espace vectoriel de Rn . On commence par trouver une base
de V . Supposons que {a1 , a2 , . . . , ak } soit une base de V . On peut écrire ces
vecteurs comme les colonnes d’une matrice A de taille n × k.

2. Calculer la matrice de projection P

La matrice de projection P sur V est donnée par :

P = A(A⊤ A)−1 A⊤ .

Cette matrice permet de projeter tout vecteur x sur V via :

p = P x.

3. Calculer x − p
Une fois p calculé, le vecteur x − p est simplement la différence entre x et sa
projection p. Ce vecteur est orthogonal à V , c’est-à-dire qu’il est orthogonal à
tous les vecteurs de la base {a1 , a2 , . . . , ak }.

4. Exemple concret
Prenons un exemple dans R3 . Soit V le sous-espace engendré par le vecteur :
 
1
a = 2 ,
3

et soit  
4
x = 5 .
6
Nous voulons projeter x sur V et calculer x − p.

Étape 1 : Construire la matrice A

La matrice A est simplement le vecteur a écrit comme une matrice colonne :
 
1
A = 2 .

3

Étape 2 : Calculer A⊤ A
 
1
A⊤ A = 1


2 3 2 = 1 · 1 + 2 · 2 + 3 · 3 = 14.
3
10 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

Étape 3 : Calculer (A⊤ A)−1

1
(A⊤ A)−1 = .
14

Étape 4 : Calculer la matrice de projection P

   
1 1 2 3
1 1
P = A(A⊤ A)−1 A⊤ =


2 1 2 3 = 2 4 6 .
14 14
3 3 6 9

Étape 5 : Projeter x sur V

  
1 2 3 4
1 
p = Px = 2 4 6 5 .
14
3 6 9 6
Calculons chaque composante de p :
1 32 16
p1 = (1 · 4 + 2 · 5 + 3 · 6) = = ,
14 14 7
1 64 32
p2 = (2 · 4 + 4 · 5 + 6 · 6) = = ,
14 14 7
1 96 48
p3 = (3 · 4 + 6 · 5 + 9 · 6) = = .
14 14 7
Ainsi, la projection de x sur V est :
 16 
7
p =  32
7
.
48
7

Étape 6 : Calculer x − p
   16   12 
4 7 7
x − p = 5 −  32
7
 =  3 .
7
48
6 7 − 67

5. Vérification de l’orthogonalité
Pour vérifier que x − p est bien orthogonal à V , on calcule le produit scalaire
entre x − p et le vecteur a :
 12   
7 1
(x − p) · a =  37  · 2
− 67 3
 
12 3 6 12 6 18
= ·1+ ·2+ − ·3= + − = 0.
7 7 7 7 7 7
Le produit scalaire est nul, ce qui confirme que x − p est orthogonal à V .
1.10. GÉNÉRALISATION À DES DIMENSIONS SUPÉRIEURES 11

Conclusion
Pour calculer x − p, on projette d’abord x sur V en utilisant la matrice de
projection P , puis on soustrait cette projection de x. Le résultat x − p est
orthogonal à V . Dans l’exemple, nous avons trouvé :
 12 
7
x − p =  37  .
− 67

1.10 Généralisation à des Dimensions Supérieures

Considérons maintenant la projection de b sur un sous-espace défini par une
matrice A de colonnes a1 , a2 , . . . , an .

Figure 1.2: Illustration d’une projection sur un sous espace de 2 dimensions,

image 1

La base du plan de projecton est formé par les vecteurs a1 et a2 , ils ne sont
pas nécessairement perpondiculaires mais ils doivent être indépendants. Ce plan
est espace colonne de la matrice A formée par a1 au niveau de sa 1ère colonne
et par a2 au niveau de sa 2ème colonne.
e = b − p est perpondiculaire au plan. Du fait que p appartien au plan, donc
p = xˆ1 a1 + xˆ2 a2 = Ax̂. Ainsi, le problème consiste à trouver la meilleure combi-
naison des colonnes de A de tel sorte que le vecteur d’erreur e est perpondiculaire
au plan.
Donc on a p = Ax̂, on doit trouver x̂. La clé est que e = b − p = b − Ax̂
est perpondiculaire au plan, dont il est perpondiculaire aux deux vecteurs qui
forment la base a1 et a2 , a⊤ ⊤
1 (b − Ax̂) = 0 et a2 (b − Ax̂) = 0.
 T  
a1 0
(b − Ax̂) = (1.7)
aT2 0
A⊤ (b − Ax̂) = 0 (1.8)
12 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

Du fait que A⊤ (b − Ax̂) = 0, donc que e = (b − Ax̂), donc on a e ∈ N (A⊤ ). De

ce qui précède, on a :
A⊤ Ax̂ = A⊤ b (1.9)

Pour une seule dimension, A⊤ A c’était a⊤ a qui était un scalaire. On résolvant

pour x̂ on a :
x̂ = (A⊤ A)−1 A⊤ b (1.10)

1.10.1 Projection sur un Sous-Espace

Rappelons que :
p = Ax̂, (1.11)

Donc :
p = Ax̂ = A(A⊤ Ax̂)−1 A⊤ b, (1.12)

La matrice de projection devient :

P = A(A⊤ A)−1 A⊤ . (1.13)

Comme dans le cas unidimensionnel, P est symétrique et idempotente.

1.10.2 Solution des Moindres Carrés

La solution optimale est donnée par :

x̂ = (A⊤ A)−1 A⊤ b. (1.14)

Ainsi, la projection est :

p = A(A⊤ A)−1 A⊤ b. (1.15)

La matrice de projection devient :

P = A(A⊤ A)−1 A⊤ . (1.16)

Comme dans le cas unidimensionnel, P est symétrique et idempotente.

1.11 Application aux Moindres Carrés

La méthode des moindres carrés s’applique lorsque nous avons un système
d’équations surdéterminé Ax = b. La solution optimale est donnée par :

x̂ = (A⊤ A)−1 A⊤ b. (1.17)

1.11. APPLICATION AUX MOINDRES CARRÉS 13

Figure 1.3: Exemple d’application de Least Squares pour ajuster une droite

1.11.1 Exemple : Ajustement d’une Ligne

Soit les 3 couples de points suivants :

C +D =1
C + 2D = 2
C + 3D = 2

Si nous voulons ajuster une droite b = c + dt à des points (ti , bi ), nous pouvons
écrire sous forme matricielle :
   
1 1   1
C
A = 1 2 , x = , b = 2 . (1.18)
D
1 3 2

Qu’on peut l’écrire comme suit :

Ax = b (1.19)

Nous savons que cette équation est surdétérminée, 3 équations et 2 inconnues,

donc on passe par :
Ax̂ = p (1.20)
La solution des moindres carrés reste :

x̂ = (A⊤ A)−1 A⊤ b. (1.21)

2 2
L’objectif est de minimiser la somme des carrés des écarts (∥Ax − b∥ = ∥e∥ ).
2 2
Au niveau de l’application, nous avons (∥Ax − b∥ = ∥e∥ ) = e21 + e22 + e23 , ceci
est une part importante en statistique, il s’agit de la régression, qui consiste à
ajuster la meilleure droite pour un nuage de point.
Soit p1 , p2 , p3 la prédictions des 3 points b1 , b2 , b3 par la meilleure droite,
ainsi, p1 , p2 , p3 se trouve sur l’espace colonne de A.
Objectif :
14 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS
 
Ĉ
• Trouver x̂ = . Rappelons que (A⊤ A)x̂ = A⊤ b. Pour l’application,
D̂
 
  1 1  
1 1 1  3 6
nous avons : A⊤ A = 1 2 = . On suppose que
1 2 3 6 14
1 3
cette matrice doit être symétrique et inversible.
 
  1  
⊤ 1 1 1 5
Et A b =  2 =

1 2 3 11
2
• Donc on l’équation :

3C + 6D = 5
6C + 14D = 11

Ces équations nous pouvons les avoir par une approche analytique en minimisant
les erreurs suivantes : (C + D − 1)2 + (C + 2D − 2)2 + (C + 3D − 2)2 en procédant
par la dérivée partielle par rapport à C et par rapport à D et en égalisant à 0.

Nous avons la fonction suivante à minimiser :

f (C, D) = (C + D − 1)2 + (C + 2D − 2)2 + (C + 3D − 2)2

1.12 Calcul des dérivées partielles

1.12.1 Dérivée par rapport à C
∂f
= 2(C + D − 1) + 2(C + 2D − 2) + 2(C + 3D − 2)
∂C
= 2(3C + 6D − 5)

1.12.2 Dérivée par rapport à D

∂f
= 2(C + D − 1) · 1 + 2(C + 2D − 2) · 2 + 2(C + 3D − 2) · 3
∂D
= 2(C + D − 1) + 4(C + 2D − 2) + 6(C + 3D − 2)
= 2C + 2D − 2 + 4C + 8D − 8 + 6C + 18D − 12
= 12C + 28D − 22
1.11. APPLICATION AUX MOINDRES CARRÉS 15

1.13 Système des équations normales

En égalisant ces dérivées à zéro, nous obtenons le système :
(
6C + 12D = 10
12C + 28D = 22

1.14 Résolution du système

En résolvant ce système, nous obtenons :

4D = 2, 3C = 2

La meilleure droite à l’équation suivante : 23 + 12 t. Ainsi nous pouvons

calculer (p1 = 2/3 + 1/2 × 1 = 7/6, p2 = 2/3 + 1/2 × 2 = 5/3, p3 =
2/3 + 1/2 × 3 = 13/6), nous pouvons ainsi calculer le vecteurs des erreurs
: e1 = −1 2 −1
6 , e1 = 6 , e1 = 6 .
Nous avons ainsi : b = p + e :
     
1 7/6 −1/6
2 =  5/3  +  2/6  (1.22)
2 13/6 −1/6

Il faut noter que les vecteurs p et e sont orthogonales

Si A a des colonnes indépendantes, donc A⊤ A est inversible.

Supposons que A⊤ Ax = 0. On sait qu’une matice A est inversible si son
noyau est seulement le vecteur nul. Autrement dit, montrer que A⊤ A est in-
versible revient à démontrer que A⊤ Ax = 0 si et seulement si x = 0. Astuce :
x⊤ A⊤ Ax = 0 ⇔ (Ax)⊤ (Ax) = 0 ⇒ Ax = 0. Rappelons que A a des colonnes indépendantes ⇒
x=0

Exercice
 
−1 1
Soit le sous-espace engendré par A, tel que A =  2 2.
1 3
 
0
Soit le vecteur b =  14 .
−4
16 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

Partie a) : Trouver la projection p du vecteur b sur le SEV

engendré par A
Étape 1 : Calculer A⊤ A
 
  −1 1
−1 2 1 
A⊤ A = 2 2
1 2 3
1 3
 
⊤ (−1)(−1) + (2)(2) + (1)(1) (−1)(1) + (2)(2) + (1)(3)
A A=
(1)(−1) + (2)(2) + (3)(1) (1)(1) + (2)(2) + (3)(3)
   
1 + 4 + 1 −1 + 4 + 3 6 6
A⊤ A = =
−1 + 4 + 3 1 + 4 + 9 6 14

Étape 2 : Calculer (A⊤ A)−1

 
a b
Pour une matrice 2 × 2 de la forme , l’inverse est donné par :
c d
 −1  
a b 1 d −b
=
c
d ad − bc −c a
 
6 6
Appliquons cette formule à A⊤ A = :
6 14

det(A⊤ A) = (6)(14) − (6)(6) = 84 − 36 = 48

 
⊤ −1 1 14 −6
(A A) =
48 −6 6

Étape 3 : Calculer A⊤ b
 
  0
−1 2 1  
A⊤ b = 14
1 2 3
−4
 
⊤ (−1)(0) + (2)(14) + (1)(−4)
A b=
(1)(0) + (2)(14) + (3)(−4)
   
0 + 28 − 4 24
A⊤ b = =
0 + 28 − 12 16

Étape 4 : Calculer x̂ = (A⊤ A)−1 A⊤ b

  
⊤ −1 1 14 −6 24
⊤
x̂ = (A A) A b =
48 −6 6 16
 
1 (14)(24) + (−6)(16)
x̂ =
48 (−6)(24) + (6)(16)
1.11. APPLICATION AUX MOINDRES CARRÉS 17
   
1 336 − 96 1 240
x̂ = =
48 −144 + 96 48 −48
 240   
48 5
x̂ = −48 =
48 −1

Étape 5 : Calculer la projection p = Ax̂

 
−1 1  
5
p = Ax̂ =  2 2
−1
1 3
 
(−1)(5) + (1)(−1)
p =  (2)(5) + (2)(−1) 
(1)(5) + (3)(−1)
   
−5 − 1 −6
p =  10 − 2  =  8 
5−3 2

Partie b) : Distance entre p et b

La distance entre p et b est donnée par la norme du vecteur b − p :
p
∥b − p∥ = (b1 − p1 )2 + (b2 − p2 )2 + (b3 − p3 )2

Calculons b − p :
     
0 −6 6
b − p =  14  −  8  =  6 
−4 2 −6

Calculons la norme :
p √ √ √
∥b − p∥ = 62 + 62 + (−6)2 = 36 + 36 + 36 = 108 = 6 3

Réponses finales
a) La projection p de b sur le SEV engendré par A est :
 
−6
p= 8 
2

b) La distance entre p et b est :

√
∥b − p∥ = 6 3
18 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

1.15 Conclusion
La projection et la méthode des moindres carrés sont essentielles en algèbre
linéaire pour résoudre des problèmes d’optimisation et d’ajustement de données.
En comprenant la géométrie et les propriétés des matrices de projection, nous
pouvons les appliquer à de nombreux problèmes pratiques.

Nous devons calculer le vecteur x̂ en utilisant la formule :

x̂ = (A⊤ A)−1 A⊤ b
Étape 1 : Matrice (A⊤ A)
On nous donne :
 
3 6
A⊤ A =
6 14
Étape 2 : Vecteur A⊤ b
 
5
A⊤ b =
11
Étape 3 : Calcul de (A⊤ A)−1
La matrice inverse d’une matrice 2 × 2 est donnée par la formule :
 −1  
a b 1 d −b
=
c d ad − bc −c a
Appliquons cette formule à A⊤ A :
Déterminant :

det(A⊤ A) = (3 × 14) − (6 × 6) = 42 − 36 = 6
Inverse :
−6
   14   7

⊤ −1 1 14 −6 6 6 3 −1
(A A) = = −6 3 = 1
6 −6 3 6 6 −1 2

Étape 4 : Calcul de x̂ = (A⊤ A)−1 A⊤ b

 7  
3 −1 5
−1 12 11
Effectuons le produit matriciel :
7   35   35 33   2 
3 × 5 + (−1) × 11 = 3 − 11 = 3 − 3 3
−10 11 = 1
−1 × 5 + 21 × 11 −5 + 112 2 + 2 2

Résultat final :
1.16. RLS : SYSTÈME MATRICIEL À RÉSOUDRE 19

2
x̂ = 3
1
2

1.16 RLS : Système matriciel à résoudre

On cherche à estimer la fonction linéaire suivante :

f (x) = Ax + B
avec la condition d’observation :

f (xk ) = yk + ϵk , où yk est la valeur observée.

1.16.1 Définition de l’erreur

On définit l’erreur quadratique comme suit :
n
X
E2 = (f (xk ) − yk )2
k=1

En remplaçant f (xk ) par son expression :

n
X
E2 = (Axk + B − yk )2 .
k=1

1.16.2 Minimisation de l’erreur

Pour estimer A et B, nous minimisons l’erreur quadratique en annulant ses
dérivées partielles :

∂E2 ∂E2
= 0, = 0.
∂A ∂B
Cela donne le système d’équations suivant :
(P
n
2(Axk + B − yk ) · xk = 0,
Pk=1
n
k=1 2(Axk + B − yk ) = 0.

En développant :
(P
n
(Ax2k + Bxk − yk xk ) = 0,
Pk=1
n
k=1 (Axk + B − yk ) = 0.

Ces équations permettent d’obtenir les valeurs optimales de A et B.

Nous avons l’équation sous forme matricielle :
20 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

P 2 P    P 
P xk xk A
= Pyk xk
xk n B yk
On note :
X X X X
Sxx = x2k , Sx = xk , Sy = yk , Sxy = xk yk

Donc, notre système devient :

    
Sxx Sx A Sxy
=
Sx n B Sy

1.17 Calcul de l’inverse de la matrice

La matrice A est :  
Sxx Sx
A=
Sx n
L’inverse d’une matrice 2 × 2 est donnée par :
 
1 n −Sx
A−1 =
det(A) −Sx Sxx
où le déterminant de A est :
det(A) = Sxx n − Sx2
Donc :  
1 n −Sx
A−1 =
Sxx n − Sx2 −Sx Sxx

1.18 Calcul de (A, B)

On applique la formule :
   
A −1 Sxy
=A ·
B Sy
Effectuons le produit matriciel :
   
A 1 nSxy − Sx Sy
=
B Sxx n − Sx2 −Sx Sxy + Sxx Sy

1.19 Expressions finales de A et B

Ainsi, on obtient :
nSxy − Sx Sy −Sx Sxy + Sxx Sy
A= , B=
Sxx n − Sx2 Sxx n − Sx2
Ces formules permettent de calculer les coefficients A et B de la droite de
régression y = Ax + B en utilisant l’inversion de la matrice du système normal.
1.20. FORMULES EN FONCTION DE LA COVARIANCE ET DE LA VARIANCE21

1.20 Formules en fonction de la covariance et de

la variance
Nous avons aussi :
Cov(x, y)
B= , A = ȳ − B x̄
Var(x)
avec :
Sx Sy Sxy Sxx
x̄ = , ȳ = , Cov(x, y) = − x̄ȳ, Var(x) = − x̄2
n n n n
En multipliant numérateur et dénominateur par n, on obtient :

nSxy − Sx Sy
B=
Sxx n − Sx2

ce qui est bien l’expression obtenue précédemment.

1.21 Conclusion
Les formules obtenues par l’inversion matricielle et celles utilisant la covariance
et la variance sont équivalentes. L’expression :

Cov(x, y)
B=
Var(x)

est simplement une reformulation des équations normales en termes de statis-

tiques des échantillons.

1.22 Le modèle de régression linéaire multiple

On dispose d’un échantillon de n individus pour lesquels on a observé :

• Yi la valeur de la variable réponse Y quantitative (ex: variable oxy (Voir

le TD RLM)),
(1) (p)
• zi , . . . , zi les valeurs de p autres variables quantitatives z (1) , . . . , z (p) .

On veut expliquer la variable quantitative Y par les p variables quantitatives

z (1) , . . . , z (p) . Le modèle s’écrit :
(
(1) (p)
Yi = θ0 + θ1 zi + · · · + θp zi + εi , ∀i = 1, . . . , n,
ε1 , . . . , εn i.i.d de loi N (0, σ 2 ).

(6.2)
22 CHAPTER 1. PROJECTIONS ET MOINDRES CARRÉS

1.23 Estimation
1.23.1 Résultats généraux
Le modèle (6.2) peut se réécrire sous la forme matricielle :
   (1) (2) (p)  
  
Y1 1 z1 z1 . . . z1 θ0 ε1
 Y2   (1) (2) (p) 
   1 z2 z2 . . . z2   θ 1
  ε2 
 ..  =  ..  +  .. 
   
. .. .. .. .. 
 ..
 .   
. . . .  .   . 
Yn (1) (2) (p)
| {z } | 1 zn zn . . . zn | θ{zp } | ε{zn }
{z }
Y θ ε
X

où X ∈ Mn,p+1 (R) (ici, k = p + 1).

1.24 Estimation du vecteur des paramètres θ par

les Moindres Carrés Ordinaires (MCO)
L’estimateur des moindres carrés ordinaires (MCO) est obtenu en minimisant
l’erreur quadratique entre les valeurs observées et les valeurs prédites par le
modèle.

1.24.1 Formulation du Problème

On considère un modèle de régression linéaire de la forme :

Y = Xθ + ε
où :

• Y est le vecteur (n × 1) des observations,

• X est la matrice (n × k) des variables explicatives,

• θ est le vecteur (k × 1) des paramètres inconnus à estimer,

• ε est le vecteur (n×1) des erreurs, supposées centrées et homoscédastiques

(même variance pour toutes les observations).

L’objectif est d’estimer θ en minimisant la somme des carrés des erreurs :

n
X n
X
S(θ) = ε2i = (yi − Xi θ)2
i=1 i=1

En notation matricielle, cela s’écrit :

S(θ) = (Y − Xθ)′ (Y − Xθ)

1.24. ESTIMATION DU VECTEUR DES PARAMÈTRES θ PAR LES MOINDRES CARRÉS ORDINAIRES (MCO

1.24.2 Dérivation de l’Estimateur θ̂

Pour trouver θ̂, on dérive S(θ) par rapport à θ et on annule cette dérivée.
Développons S(θ) :

S(θ) = Y ′ Y − 2θ′ X ′ Y + θ′ X ′ Xθ
On dérive par rapport à θ :

∂S(θ)
= −2X ′ Y + 2X ′ Xθ
∂θ
On annule la dérivée pour minimiser S(θ) :

X ′ Xθ = X ′ Y
Si la matrice X ′ X est inversible, alors on peut isoler θ :

θ̂ = (X ′ X)−1 X ′ Y
Si le modèle est régulier, on peut alors estimer le vecteur des paramètres θ
par la méthode des moindres carrés, d’où

θ̂ = (X ′ X)−1 X ′ Y ∼ Np+1 θ, σ 2 (X ′ X)−1 .

On en déduit alors
p
(j)
X
Ŷi = (X θ̂)i = θ̂0 + θ̂j zi
j=1

la valeur ajustée de Yi et le résidu

ε̂i = Yi − Ŷi .

La variance σ 2 est estimée par

n
∥Y − X θ̂∥2 1 X
σ̂ 2 = = (ε̂i )2 .
n − (p + 1) n − (p + 1) i=1