Détermination des Estimateurs dans un Modèle de Régression
Multiple
1 Introduction
Dans un modèle de régression multiple, l’objectif est de déterminer les coefficients des variables explica-
tives qui minimisent la somme des carrés des résidus. Nous utilisons la méthode des Moindres Carrés
Ordinaires (MCO) pour estimer ces coefficients.
2 Formulation du Modèle
Le modèle de régression multiple est formulé comme suit :
Y = Xβ + ϵ (1)
où :
• Y est un vecteur n × 1 des observations de la variable dépendante,
• X est une matrice n × k des régresseurs (variables indépendantes) incluant une colonne de 1 pour
l’ordonnée à l’origine,
• β est un vecteur k × 1 des coefficients inconnus,
• ϵ est un vecteur n × 1 des termes d’erreur.
3 Matrice des Régresseurs et Vecteur des Observations
Supposons que nous avons un modèle avec deux variables explicatives et une constante :
yi = β0 + β1 x1i + β2 x2i + ϵi (2)
Pour n observations, la matrice X et le vecteur Y sont :
1 x11 x21 y1
1 x12 x22 y2
X = . .. , Y = .. (3)
..
.. . . .
1 x1n x2n yn
Le vecteur des coefficients est :
β0
β = β1 (4)
β2
4 Estimation des Coefficients
L’estimateur des MCO pour le vecteur des coefficients β est donné par :
β̂ = (X ′ X)−1 X ′ Y (5)
1
4.1 Minimisation de la Somme des Carrés des Résidus
La fonction de coût à minimiser est :
S(β) = (Y − Xβ)′ (Y − Xβ) (6)
Pour minimiser cette fonction, nous prenons la dérivée par rapport à β et la mettons à zéro :
∂S(β)
= −2X ′ (Y − Xβ) = 0 (7)
∂β
En résolvant cette équation, nous obtenons :
X ′ Xβ = X ′ Y (8)
Si X ′ X est inversible, nous pouvons isoler β :
β̂ = (X ′ X)−1 X ′ Y (9)
5 Exemple Concret
Supposons que nous avons les données suivantes pour y, x1 , et x2 :
y x1 x2
10 1 4
12 2 5
14 3 6
La matrice X et le vecteur Y sont :
1 1 4 10
X = 1 2 5 , Y = 12 (10)
1 3 6 14
Nous calculons X ′ X et X ′ Y :
3 6 15 36
X ′X = 6 14 32 , X ′ Y = 84 (11)
15 32 77 204
Puis nous trouvons (X ′ X)−1 :
77 32 3
18 − 18 18
(X ′ X)−1 = − 32
18
14
18
2
− 18 (12)
3 2 1
18 − 18 18
Finalement, nous calculons β̂ :
77
− 32 3
18 18 18 36
β̂ = (X ′ X)−1 X ′ Y = − 32
18
14
18
2
− 18 84 (13)
3 2 1
18 − 18 18
204
En effectuant la multiplication matricielle, nous obtenons les coefficients estimés β̂.
6 Hypothèses et Propriétés
Pour que les estimateurs des MCO soient bien définis et aient de bonnes propriétés, les hypothèses
suivantes doivent être respectées :
• Non-colinéarité : Les colonnes de X doivent être linéairement indépendantes.
• Homoscédasticité : La variance des erreurs ϵi doit être constante.
2
• Indépendance des erreurs : Les erreurs doivent être indépendantes entre elles.
• Erreur à espérance nulle : L’espérance des erreurs doit être nulle.
Sous ces hypothèses, l’estimateur β̂ a les propriétés suivantes :
• Non-biaisé : E[β̂] = β
• Variance minimale : Parmi les estimateurs linéaires non biaisés, β̂ a la plus petite variance
(propriété BLUE - Best Linear Unbiased Estimator).
7 Conclusion
En résumé, pour déterminer les estimateurs des coefficients dans un modèle de régression multiple, nous
utilisons la méthode des Moindres Carrés Ordinaires, en résolvant l’équation β̂ = (X ′ X)−1 X ′ Y . Cette
méthode minimise la somme des carrés des résidus et fournit des estimations des coefficients sous les
hypothèses classiques de la régression linéaire.