La regression simple linéaire
Sommaire :
1. Introduction
2. Régression linéaire simple
3. Estimation des paramètres
4. Intervalles de confiance et tests
5. Analyse des résidus
6. Corrélation
1- introduction
But : ´établir un lien entre une variable dépendante Y et une
variable indépendante X pour pouvoir ensuite faire des prévisions
sur Y lorsque X est mesurée. Exemple 1 L’analyse de la température
de fonctionnement d’un procède chimique sur le rendement du
produit a donne les valeurs suivantes pour la température Xi et le
rendement correspondant Yi :
Température ◦C Rendement % Température ◦C Rendement %
100 45 150 70
110 51 160 74
120 45 170 78
130 61 180 85
140 66 190 89
Exemple 1
Le graphe ci-dessous représente les points (Xi , Yi) pour ces données et suggère une relation
linéaire entre X et Y .
14
12
10
8 Série 3
6 Série 2
Série 1
4
2
0
Catégorie 1 Catégorie 2 Catégorie 3 Catégorie 4
2. Régression linéaire simple:
Définition :
Un modèle de régression linéaire simple est de la forme
Y = β0 + β1X + ε
ou I Y est la variable dépendante (une v.a).
I β0 et β1 sont les coefficients (ordonnée `a l’origine et pente).
I X est la variable indépendante (variable explicative).
I ε est une erreur aléatoire
L’ésperance de Y pour chaque X est le point sur la droite d’´equation E(Y |X) = β0 + β1X.
On suppose que :
I Pour chaque valeur de X, E(ε) = 0 et V(ε) = σ 2 .
I ε ∼ N(0, σ2 ).
I Les erreurs ε sont indépendantes (non corrélées)
On cherche a:
I Estimer les paramètres β0, β1 et σ 2
I Vérifier si le modèle est adéquat.
3. Estimation des paramètres
Paramètres β0 et β1
Supposons que n paires d’observations (X1, Y1), (X2, Y2), . . ., (Xn, Yn) ont été faites. Substituant dans le
modèle linéaire, on obtient
Yi = β0 + β1Xi + εi ⇒ εi = Yi − β0 − β1Xi .
Les coefficients sont détermines par la méthode des moindres carres qui minimise la somme des carres
des erreurs :
L(β0, β1) = Xn i=1 (Yi − β0 − β1Xi) 2
On résout le système de deux équations a deux inconnues ∇L(βˆ 0, βˆ 1) = 0
pages 10 ET 11 équations
Point de vue algébrique
Etant donnes n points de données (X1, Y1),(X2, Y2), . . . ,(Xn, Yn) de R 2 , on essaie de
trouver l’equation d’une droite qui passe par les n points
I Cette équation est Y = β0 + β1X avec β0, β1 ∈ R.
β0 et β1 devraient être les solutions du système Ax = b avec :
Equation page 13
Propriétés de β0 et β:
La droite de régression estimée est Yˆ = βˆ 0 + βˆ 1X. Les variables aléatoires βˆ 0 et βˆ 1
sont des estimateurs de l’ordonnee `a l’origine β0 et de la pente β
Theoreme
Pages 14
Paramètre σ 2:
Rappel :
le modèle de régression est Y = β0 + β1X + ε avec ε ∼ N(0, σ2 ).
La différence entre la valeur estimée Yˆ i = βˆ 0 + βˆ 1Xi et la valeur observée Yi est
appelée résidu et est dénotée Ei = Yˆ i − Yi .
On définit I La somme des carres due a l’erreur par SSE = Xn i=1 E 2 i = Xn i=1 (Yˆ i −
Yi) 2 .
I La somme des carres due a la régression par:
Equation 15
4. Intervalles de confiance et tests