MÉTHODES D'AJUSTEMENT

Linéaires, Non Paramétriques & Régularisées

Guide complet — Description, Formules, Hypothèses et Calcul

Sephora Cara | Statistiques & Prévision

PARTIE I — MÉTHODES D'AJUSTEMENT LINÉAIRE

Les méthodes d'ajustement linéaire cherchent à modéliser la relation entre une variable
dépendante Y et une ou plusieurs variables explicatives X à travers une fonction de la forme Y =
aX + b. Elles diffèrent par leurs hypothèses, leur robustesse aux données atypiques et les
techniques d'estimation utilisées.

Méthode 1 — Méthode de Brown (Lissage exponentiel double)

Description du modèle
La méthode de Brown est une technique de lissage exponentiel appliquée deux fois consécutives
sur la série temporelle. Elle permet d'ajuster une tendance linéaire à des données chronologiques
en calculant deux lissages exponentiels simples successifs (S't et S''t). Elle produit une équation
de prévision de la forme ŷ(t+m) = at + bt·m, où at et bt représentent respectivement le niveau et la
pente estimés à la période t.

Pourquoi et dans quel cas l'utiliser ?

• Séries temporelles avec une tendance linéaire claire (croissante ou décroissante).
• Données pour lesquelles les observations récentes doivent avoir plus de poids que les
observations anciennes.
• Prévision à court ou moyen terme lorsqu'on ne dispose pas de variables explicatives
externes.
• Environnements où la tendance évolue lentement et de manière continue.

Hypothèses préalables
• La série présente une tendance linéaire sans composante saisonnière marquée.
• Le paramètre de lissage α est compris entre 0 et 1 (choix par minimisation de l'erreur
quadratique).
• Les erreurs de prévision sont supposées non corrélées et homoscédastiques.
• La tendance est supposée stable (varie lentement dans le temps).

Formules principales

Méthodes d'Ajustement — Sephora Cara | Page 1

 Lissage 1 S't = α·Yt + (1-α)·S't-1

Lissage 2 S''t = α·S't + (1-α)·S''t-1

Niveau at at = 2·S't - S''t

Pente bt bt = (α / (1-α)) · (S't - S''t)

Prévision ŷ(t+m) = at + bt · m

Comment se calcule-t-elle ?
On choisit α (0<α<1), on initialise S'1 = S''1 = Y1 (ou moyenne des premières valeurs). À chaque
période t, on calcule successivement S't, puis S''t, puis at et bt. Pour prévoir m périodes en avant,
on applique la formule ŷ(t+m). Le choix optimal de α se fait en minimisant la somme des carrés
des erreurs de prévision.

Méthode 2 — Méthode du Centre de Gravité (Ajustement par barycentre)

Description du modèle
La méthode du centre de gravité consiste à diviser la série de données en deux groupes de taille
égale, à calculer le barycentre (centre de gravité) de chaque groupe, puis à tracer la droite passant
par ces deux barycentres. Elle donne une droite d'ajustement linéaire simple sans nécessiter de
calculs algébriques complexes, mais reste approximative.

Pourquoi et dans quel cas l'utiliser ?

• Ajustement linéaire rapide sur des données chronologiques ou bivariées.
• Situations pédagogiques ou exploratoires où une estimation graphique suffit.
• Données sans valeurs aberrantes importantes, car la méthode y est sensible.
• Cas où l'on souhaite une méthode simple sans outils informatiques.

Hypothèses préalables
• Relation approximativement linéaire entre X et Y.
• Pas de valeurs aberrantes majeures (la méthode n'est pas robuste).
• Données réparties de façon relativement uniforme pour un découpage équitable.
• Les groupes doivent contenir le même nombre d'observations (ou presque).

Formules principales

G1 = (x̄ 1, ȳ1) où x̄ 1 = moyenne des Xi du 1er

Barycentre G1
groupe

Méthodes d'Ajustement — Sephora Cara | Page 2

 G2 = (x̄ 2, ȳ2) où x̄ 2 = moyenne des Xi du 2ème
Barycentre G2
groupe

Pente a a = (ȳ2 - ȳ1) / (x̄ 2 - x̄ 1)

Ordonnée b b = ȳ1 - a · x̄ 1 (ou via G2)

Droite ŷ = a·x + b

Comment se calcule-t-elle ?
On classe les données par X croissant. On divise en deux groupes égaux (si n impair, on exclut la
valeur médiane ou on la met dans l'un des groupes). On calcule les moyennes (x̄ 1, ȳ1) et (x̄ 2, ȳ2)
de chaque groupe. La pente est déterminée par le rapport des différences de moyennes. On en
déduit l'ordonnée à l'origine b et on obtient la droite d'ajustement ŷ = ax + b.

Méthode 3 — Méthode de la Droite des Médianes

Description du modèle
La méthode de la droite des médianes est une alternative robuste aux moindres carrés. Elle
découpe la série en trois groupes, calcule les médianes de X et Y dans chaque groupe, puis ajuste
la droite à partir de ces médianes. Elle est moins influencée par les valeurs extrêmes que la
méthode des moindres carrés ordinaires.

Pourquoi et dans quel cas l'utiliser ?

• Données avec valeurs atypiques (outliers) pour lesquelles les MCO seraient biaisés.
• Séries temporelles ou données bivariées avec relation linéaire approximative.
• Contexte d'analyse exploratoire ou pédagogique où la robustesse est prioritaire.
• Situations où la normalité des erreurs n'est pas garantie.

Hypothèses préalables
• Relation linéaire entre X et Y (mais pas strictement linéaire).
• Les trois groupes doivent contenir chacun n/3 observations environ.
• Aucune hypothèse sur la distribution des erreurs n'est requise.
• Résistance naturelle aux outliers : pas d'hypothèse de normalité.

Formules principales

Groupe 1 M1 = (Médiane(X₁), Médiane(Y₁))

Groupe 3 M3 = (Médiane(X₃), Médiane(Y₃))

Méthodes d'Ajustement — Sephora Cara | Page 3

 Pente a a = (Méd(Y₃) - Méd(Y₁)) / (Méd(X₃) - Méd(X₁))

b = [(Méd(Y₁) + Méd(Y₂) + Méd(Y₃)) - a·(Méd(X₁)

Ordonnée b
+Méd(X₂)+Méd(X₃))] / 3

Droite ŷ = a·x + b

Comment se calcule-t-elle ?
On trie les données par X croissant et on les divise en trois groupes de taille égale (G1, G2, G3).
On calcule la médiane de X et de Y dans chaque groupe pour obtenir M1, M2, M3. La pente est
calculée à partir de M1 et M3 uniquement. L'ordonnée à l'origine intègre les trois médianes pour
plus de stabilité. On obtient ainsi la droite ŷ = ax + b.

Méthode 4 — Régression de Huber (M-estimation robuste)

Description du modèle
La régression de Huber est une méthode robuste qui minimise une fonction de perte hybride :
quadratique pour les petits résidus (comme les MCO) et linéaire pour les grands résidus (comme
la régression L1). Elle réduit l'influence des outliers sans les ignorer complètement. La fonction de
perte de Huber est paramétrisée par un seuil δ qui définit la frontière entre les deux régimes.

Pourquoi et dans quel cas l'utiliser ?

• Données contenant des valeurs aberrantes modérées que l'on ne veut pas supprimer.
• Régression linéaire lorsque la normalité des erreurs est douteuse.
• Analyse économétrique avec données de panel ou séries temporelles bruitées.
• Lorsque les MCO classiques produisent des estimateurs instables en présence d'outliers.

Hypothèses préalables
• Relation linéaire entre Y et les variables explicatives X.
• Les erreurs sont symétriquement distribuées (pas nécessairement normales).
• Le paramètre δ est choisi a priori (souvent δ = 1.345·σ pour 95% d'efficacité normale).
• Les observations ne sont pas corrélées entre elles.

Formules principales

ρ(r) = r²/2 si |r| ≤ δ ; δ(|r| - δ/2) si |r| >

Perte Huber
δ

Dérivée ψ ψ(r) = r si |r| ≤ δ ; δ·signe(r) si |r| > δ

Objectif β̂ = argmin Σ ρ(yi - xiᵀβ)

Méthodes d'Ajustement — Sephora Cara | Page 4

 Équation Σ xi · ψ(yi - xiᵀβ̂) = 0 (système IRLS)

Comment se calcule-t-elle ?
L'estimation se fait par l'algorithme IRLS (Iteratively Reweighted Least Squares) : (1) Initialiser
avec les MCO. (2) Calculer les résidus ri = yi - xiᵀβ. (3) Attribuer des poids wi : wi=1 si |ri|≤δ, wi=δ/|
ri| sinon. (4) Résoudre la WLS pondérée avec ces poids. (5) Répéter jusqu'à convergence. Le
paramètre δ contrôle le compromis robustesse/efficacité.

Méthode 5 — Méthode des Moindres Carrés Élagués (LTS — Least Trimmed

Squares)

Description du modèle
Les Moindres Carrés Élagués (LTS) minimisent la somme des h plus petits carrés de résidus, en
ignorant les (n-h) observations présentant les plus grands résidus. C'est une méthode hautement
robuste aux outliers, capable de tolérer jusqu'à 50% de contamination des données. Elle a été
proposée par Peter Rousseeuw (1984).

Pourquoi et dans quel cas l'utiliser ?

• Données fortement contaminées par des outliers (jusqu'à 50% des observations).
• Détection automatique des valeurs aberrantes dans un jeu de données.
• Régression en présence de masquage (outliers qui cachent d'autres outliers).
• Analyses exploratoires de robustesse extrême.

Hypothèses préalables
• Relation linéaire entre Y et X pour la fraction h des observations.
• On choisit h tel que n/2 < h ≤ n (souvent h = ⌊n/2⌋ + ⌊(p+1)/2⌋ + 1, p = nb de paramètres).
• Aucune hypothèse de normalité n'est requise.
• Point de rupture (breakdown point) : jusqu'à 50% d'outliers tolérés.

Formules principales

Objectif LTS β̂_LTS = argmin Σᵢ₌₁ʰ r²(i) (résidus ordonnés)

Résidus triés r²(1) ≤ r²(2) ≤ ... ≤ r²(n)

Choix de h h = ⌊n/2⌋ + ⌊(p+1)/2⌋ + 1

Critère Minimiser Σᵢ₌₁ʰ (yi - xiᵀβ)²(i)

Comment se calcule-t-elle ?
Le calcul exact du LTS est NP-difficile. En pratique, on utilise l'algorithme FAST-LTS de
Rousseeuw & Van Driessen : (1) Tirer des sous-ensembles aléatoires de p+1 observations. (2)
Calculer les MCO sur chaque sous-ensemble. (3) Identifier les h observations avec les plus petits

Méthodes d'Ajustement — Sephora Cara | Page 5

résidus. (4) Raffiner par C-steps (Concentration Steps) jusqu'à convergence. (5) Conserver la
solution avec la plus petite valeur de l'objectif LTS.

Méthode 6 — Méthode des Moindres Carrés Généralisés (MCG / GLS)

Description du modèle
Les Moindres Carrés Généralisés généralisent les MCO en autorisant une structure de covariance
non sphérique des erreurs : les erreurs peuvent être hétéroscédastiques et/ou autocorrélées. Le
modèle suppose que la matrice de covariance des erreurs est Ω (connue ou estimée), et
transforme le modèle de façon à retrouver des erreurs sphériques, puis applique les MCO.

Pourquoi et dans quel cas l'utiliser ?

• Modèles de régression avec hétéroscédasticité (variance non constante des erreurs).
• Données de panel ou séries temporelles avec autocorrélation des erreurs.
• Modèles économétriques avancés (AR(1), ARMA, effets fixes/aléatoires).
• Lorsque le test de Breusch-Pagan ou Durbin-Watson rejette les hypothèses MCO.

Hypothèses préalables
• Le modèle linéaire est : Y = Xβ + ε avec E(ε)=0 et Cov(ε) = σ²Ω (Ω connue).
• Ω est définie positive et connue (ou estimée de façon cohérente).
• Exogénéité des régresseurs : E(ε|X) = 0.
• Si Ω est estimée → Feasible GLS (FGLS), avec propriétés asymptotiques.

Formules principales

Estimateur GLS β̂_GLS = (XᵀΩ⁻¹X)⁻¹ · XᵀΩ⁻¹Y

Variance Var(β̂_GLS) = σ²(XᵀΩ⁻¹X)⁻¹

Transformation P'Y = P'Xβ + P'ε avec PP' = Ω⁻¹ (Choleski)

εt = ρεt-1 + ut → Ω dépend de ρ estimé par MCO

Cas AR(1)
sur résidus

Comment se calcule-t-elle ?
On estime d'abord ρ (ou la structure de Ω) via les résidus MCO (Prais-Winsten, Cochrane-Orcutt
pour AR(1)). On factorise Ω via la décomposition de Cholesky pour obtenir P tel que PP'=Ω ⁻¹. On
transforme Y* = PY et X* = PX. On applique les MCO ordinaires sur Y* = X*β + ε* où ε* est
sphérique. L'estimateur GLS est le BLUE (Best Linear Unbiased Estimator) sous ces hypothèses.

Méthodes d'Ajustement — Sephora Cara | Page 6

 Méthode 7 — Méthode des Moindres Carrés Pondérés (WLS — Weighted
Least Squares)

Description du modèle
Les Moindres Carrés Pondérés (WLS) sont un cas particulier des MCG où la matrice Ω est
diagonale : les erreurs sont indépendantes mais hétéroscédastiques. Chaque observation i reçoit
un poids wi inversement proportionnel à sa variance σ²i. Les observations plus fiables (faible
variance) ont plus d'influence sur l'estimation.

Pourquoi et dans quel cas l'utiliser ?

• Données avec hétéroscédasticité connue ou estimée (variance variable selon les
observations).
• Agrégation de données (moyennes de sous-groupes de tailles différentes) : wi = ni.
• Modèles avec erreurs de mesure dont la précision varie (capteurs, sondages).
• Régression sur données de panel cross-section où les variances diffèrent entre individus.

Hypothèses préalables
• Les erreurs εi sont indépendantes avec Var(εi) = σ²/wi (hétéroscédasticité connue).
• Les poids wi sont positifs et connus a priori (ou estimés).
• La relation fonctionnelle E(Y|X) = Xβ reste linéaire.
• L'exogénéité des régresseurs est maintenue : E(ε|X) = 0.

Formules principales

Objectif WLS β̂_WLS = argmin Σᵢ wᵢ(yᵢ - xᵢᵀβ)²

Estimateur β̂_WLS = (XᵀWX)⁻¹ · XᵀWY

W = diag(w₁, w₂, ..., wₙ) avec wᵢ = 1/σ²ᵢ

Matrice W
(souvent)

Variance Var(β̂_WLS) = σ²(XᵀWX)⁻¹

Comment se calcule-t-elle ?
On détermine les poids wi (ex : wi = 1/x²i si la variance croît avec X, ou wi = ni si on travaille sur
des moyennes). On construit la matrice diagonale W. On calcule β̂_WLS = (X'WX)⁻¹X'WY
directement (forme matricielle) ou en transformant : multiplier chaque observation i par √wi, puis
appliquer les MCO ordinaires sur les données transformées. C'est le BLUE si les poids sont
correctement spécifiés.

Méthodes d'Ajustement — Sephora Cara | Page 7

 PARTIE II — MÉTHODES D'AJUSTEMENT NON
PARAMÉTRIQUE

Les méthodes non paramétriques ne supposent pas de forme fonctionnelle prédéfinie pour la
relation entre Y et X. Elles s'adaptent localement aux données et sont particulièrement utiles
lorsque la relation est complexe, non linéaire, ou lorsque les hypothèses paramétriques classiques
ne sont pas vérifiables.

Méthode 8 — Régression L1 — Régression par Moindres Valeurs Absolues

(LAD)

Description du modèle
La régression L1, ou Régression par Moindres Valeurs Absolues (Least Absolute Deviations,
LAD), minimise la somme des valeurs absolues des résidus plutôt que leur carré. Elle est
beaucoup plus robuste aux outliers que les MCO, car les grandes erreurs ne sont pas amplifiées
de façon quadratique. Elle est liée à la médiane conditionnelle (régression quantile à τ = 0.5).

Pourquoi et dans quel cas l'utiliser ?

• Données avec outliers importants que l'on ne peut ou ne veut pas supprimer.
• Distribution des erreurs avec queues épaisses (Laplace, Cauchy).
• Modèles de prévision où l'on souhaite minimiser l'erreur absolue moyenne (MAE).
• Applications économiques et financières avec données de rendements atypiques.

Hypothèses préalables
• Relation linéaire entre Y et X (ou plus généralement, modèle E[Y|X] = Xβ pour la médiane).
• Les erreurs sont symétriquement distribuées autour de 0 (pour l'estimation de la médiane).
• Aucune hypothèse de normalité n'est requise.
• La solution n'est pas unique si la médiane tombe entre deux observations.

Formules principales

Objectif L1 β̂_L1 = argmin Σᵢ |yᵢ - xᵢᵀβ|

Lien médiane ŷ = médiane conditionnelle de Y sachant X

min Σ(uᵢ + vᵢ) avec yᵢ - xᵢᵀβ = uᵢ - vᵢ, uᵢ,vᵢ ≥

Formulation LP
0

Comment se calcule-t-elle ?
On reformule le problème comme un programme linéaire (LP) : chaque résidu ri est décomposé en
partie positive ui et négative vi (ri = ui - vi, ui,vi ≥ 0). La minimisation de Σ|ri| = Σ(ui+vi) est alors un
problème LP résolu par l'algorithme du simplexe. En pratique, on utilise des algorithmes
spécialisés (ex : quantreg en R). La solution est un vertex du polytope des contraintes.

Méthodes d'Ajustement — Sephora Cara | Page 8

 Méthode 9 — Méthode IRLS — Moindres Carrés Itérativement Repondérés

Description du modèle
L'IRLS (Iteratively Reweighted Least Squares) est un algorithme général qui résout des problèmes
de régression robuste ou de modèles linéaires généralisés (GLM) en résolvant successivement
des problèmes de WLS avec des poids mis à jour à chaque itération. Il s'applique à la régression
L1, à la régression de Huber, à la régression logistique et aux GLM en général.

Pourquoi et dans quel cas l'utiliser ?

• Résolution numérique de la régression L1 (LAD) et de la régression de Huber.
• Estimation des GLM (logistique, Poisson, Gamma) par maximum de vraisemblance.
• Régression robuste générale avec n'importe quelle fonction de perte M-estimatrice.
• Alternative stable aux méthodes directes lorsque le problème n'est pas quadratique.

Hypothèses préalables
• Convergence garantie sous conditions de convexité de la fonction de perte.
• Les poids wi doivent être strictement positifs pour éviter les singularités.
• Initialisation avec les MCO ordinaires ou un estimateur robuste préliminaire.
• Le critère doit être deux fois différentiable (sinon convergence plus lente).

Formules principales

Itération k β̂(k+1) = (XᵀW(k)X)⁻¹ · XᵀW(k)Y

w(k)ᵢ = ψ(r(k)ᵢ/σ̂) / (r(k)ᵢ/σ̂) (fonction

Poids Huber
d'influence)

w(k)ᵢ = 1 / |r(k)ᵢ| (avec plancher pour éviter

Poids LAD
div/0)

Convergence ||β̂(k+1) - β̂(k)|| < ε (critère d'arrêt)

Comment se calcule-t-elle ?
Étape 1 : Initialiser β̂(0) avec les MCO. Étape 2 : Calculer les résidus r(k)i = yi - xi'β̂(k). Étape 3 :
Calculer les poids w(k)i selon la méthode choisie (Huber, L1, etc.), avec σ̂ estimée par MAD
(Median Absolute Deviation) / 0.6745. Étape 4 : Résoudre la WLS avec ces poids pour obtenir
β̂(k+1). Étape 5 : Vérifier la convergence. Répéter jusqu'à ce que ||β̂(k+1) - β̂(k)|| < ε.

Méthode 10 — Régression Locale — LOESS / LOWESS

Méthodes d'Ajustement — Sephora Cara | Page 9

Description du modèle
La régression locale (LOESS : LOcally Estimated Scatterplot Smoothing) ajuste un polynôme de
faible degré (souvent 1 ou 2) pour chaque point x0, en utilisant uniquement les observations
voisines pondérées par leur proximité à x0. Le résultat est une courbe lisse non paramétrique qui
s'adapte aux variations locales de la relation Y-X.

Pourquoi et dans quel cas l'utiliser ?

• Visualisation et lissage de nuages de points sans forme fonctionnelle a priori.
• Détection de tendances non linéaires dans des données temporelles ou bivariées.
• Analyse résiduelle (lissage des résidus MCO pour détecter des patterns).
• Données biologiques, environnementales ou économiques avec relations complexes.

Hypothèses préalables
• La relation Y-X est suffisamment lisse localement (dérivable).
• Le paramètre span h (proportion de données utilisées localement) doit être choisi par
validation croisée.
• Aucune hypothèse de distribution globale des erreurs n'est requise.
• La méthode est intensive en calcul (O(n²) pour le fit complet).

Formules principales

Noyau tricube K(u) = (1-|u|³)³ · 1(|u|<1) avec u=(x-x0)/h(x0)

Poids wᵢ(x0) = K((xᵢ-x0) / hₖ(x0)) où hₖ = k-ème voisin

WLS locale β̂(x0) = argmin Σᵢ wᵢ(x0)(yᵢ - β0 - β1(xᵢ-x0))²

Prédiction ŷ(x0) = β̂0(x0) (valeur ajustée au point x0)

Comment se calcule-t-elle ?
Pour chaque point x0 : (1) Identifier les k plus proches voisins (k = h·n). (2) Calculer les distances
et les poids tricube wi(x0). (3) Résoudre une WLS locale (polynôme de degré 1 ou 2). (4) Lire la
prédiction ŷ(x0). On peut ajouter une étape de robustesse (LOWESS) : itérer en repesant par une
fonction des résidus pour réduire l'influence des outliers. Le span h contrôle le lissage (grand h →
plus lisse, petit h → plus fidèle).

Méthode 11 — Régression par Lignes Brisées — Splines de Régression

Description du modèle
La régression par lignes brisées (splines) ajuste des polynômes par morceaux, raccordés en des
points appelés noeuds (knots), avec des contraintes de continuité et de dérivabilité. Les splines
linéaires sont des lignes brisées continues ; les splines cubiques (B-splines, natural splines)
assurent la continuité jusqu'à la dérivée seconde, produisant des courbes très lisses.

Méthodes d'Ajustement — Sephora Cara | Page 10

Pourquoi et dans quel cas l'utiliser ?
• Relations Y-X qui changent de régime à des points connus ou inconnus (ruptures
structurelles).
• Ajustement de courbes de croissance, de survie ou de demande non linéaires.
• Modèles additifs (GAM) où chaque variable explicative est modélisée par une spline.
• Données environnementales ou épidémiologiques avec seuils d'effet.

Hypothèses préalables
• Les noeuds de raccordement sont placés à des percentiles des données ou choisis par
AIC/BIC.
• Le nombre et la position des noeuds contrôlent la complexité du modèle.
• Les splines naturelles imposent une contrainte de linéarité aux extrémités.
• Pas d'hypothèse de distribution globale, mais les résidus doivent être homoscédastiques pour
l'inférence.

Formules principales

f(x) = β0 + β1·x + Σⱼ βⱼ₊₁·(x-kⱼ)₊ où (u)₊ =

Spline linéaire
max(0,u)

f(x) = Σⱼ βⱼ · Bⱼ,d(x) (base de B-splines de

B-spline base
degré d)

Spline cubique f(x) polynôme cubique par morceaux, C² aux noeuds

β̂ = argmin Σ(yᵢ - f(xᵢ))² (MCO sur la base de

Estimation
splines)

Comment se calcule-t-elle ?
On fixe les noeuds (automatiquement ou par expertise). On construit la matrice de design X
incluant les fonctions de base tronquées (ou les B-splines). On applique les MCO ordinaires sur
cette matrice étendue. Pour les smoothing splines, on ajoute une pénalité sur la courbure : min
Σ(yi-f(xi))² + λ∫f''(x)²dx. Le paramètre λ contrôle le lissage (estimé par validation croisée généralisée
GCV).

Moyennes Mobiles vs Quartiles Mobiles — Analyse

Comparative Détaillée

Méthodes d'Ajustement — Sephora Cara | Page 11

A. Méthode des Moyennes Mobiles (Moving Average)
La moyenne mobile d'ordre k en un point t est la moyenne arithmétique des k valeurs de la série
centrées autour de t (centred moving average) ou des k valeurs précédentes (trailing moving
average). Elle est utilisée pour lisser les fluctuations aléatoires et mettre en évidence la tendance
ou les cycles.

Formule

MM d'ordre k MMt = (1/k) · Σᵢ₌₋⌊k/2⌋^⌊k/2⌋ Yt+i (centrée)

MM trailing MMt = (1/k) · Σᵢ₌₀^(k-1) Yt-i (glissante)

Avantages
• Simple à calculer et à interpréter.
• Efficace pour éliminer les fluctuations aléatoires à court terme.
• Peut être étendue aux moyennes mobiles pondérées (WMA) ou exponentielles (EMA).

Inconvénients
• Très sensible aux valeurs aberrantes (un seul outlier affecte k périodes).
• Perd k/2 observations aux extrémités de la série (non définie aux bords).
• Introduit un délai (lag) de réaction aux changements de tendance.

B. Méthode des Quartiles Mobiles (Moving Quantile / Médiane Mobile)

Les quartiles mobiles remplacent la moyenne par la médiane (ou tout autre quantile) dans la
fenêtre glissante d'ordre k. La médiane mobile est la valeur centrale des k observations triées dans
chaque fenêtre. Cette méthode est hautement robuste aux outliers puisque la médiane est
insensible aux valeurs extrêmes.

Formule

Médiane mobile Mt = médiane(Yt-⌊k/2⌋, ..., Yt, ..., Yt+⌊k/2⌋)

Quartile Q1 Q1t = 1er quartile de la fenêtre centrée en t

mobile

Avantages
• Très robuste aux valeurs aberrantes : un outlier dans la fenêtre ne biaise pas le résultat.
• Peut être utilisée pour calculer des enveloppes de confiance (Q1, Q3 mobiles).
• Utile pour la détection d'anomalies (outliers = valeurs hors des quartiles mobiles ± 1.5·IQR).

Inconvénients
• Plus coûteuse en calcul (tri de la fenêtre à chaque pas).
Méthodes d'Ajustement — Sephora Cara | Page 12
 • La médiane peut être discontinue si la série est discrète.
• Moins adaptée aux séries avec tendance forte et régulière (moins précise que la moyenne
pour les séries lisses).

Tableau Comparatif Synthétique

Critère Moyennes Mobiles Quartiles Mobiles

Robustesse aux Faible (sensible) Très élevée

outliers
Statistique centrale Moyenne arithmétique Médiane (ou Q1/Q3)
Complexité calcul O(n·k) O(n·k·log k) - tri
Interprétation Tendance lissée Tendance robuste + enveloppes
Utilisation typique Lissage de séries régulières Données bruitées / détection
anomalies
Perte aux bords ⌊k/2⌋ points de chaque côté ⌊k/2⌋ points de chaque côté
Réaction au Lente (lag = k/2) Lente mais plus stable
changement

Méthodes d'Ajustement — Sephora Cara | Page 13

 PARTIE III — MÉTHODES DE RÉGRESSION RÉGULARISÉE

Les méthodes de régression régularisée ajoutent une pénalité sur les coefficients β à la fonction
de perte classique des MCO. Cette pénalité contrôle la complexité du modèle, réduit le
surapprentissage (overfitting) et peut produire des estimateurs parcimonieux (sélection
automatique de variables).

Méthode 12 — Méthode PLS — Moindres Carrés Partiels (Partial Least

Squares)

Description du modèle
La régression PLS (Partial Least Squares) est une méthode de régression multivariée qui extrait
des composantes latentes (scores) qui maximisent simultanément la variance expliquée dans X et
la covariance entre X et Y. Elle est particulièrement utile quand p >> n (plus de variables que
d'observations) ou quand les variables X sont fortement colinéaires.

Pourquoi et dans quel cas l'utiliser ?

• Chimiométrie, spectroscopie (NIR/IR) : prédire une propriété Y à partir de milliers de
longueurs d'onde X.
• Génomique : prédire un phénotype à partir de milliers de SNPs.
• Marketing / sciences sociales : variables explicatives nombreuses et colinéaires.
• Toute situation où la régression PCR (Composantes Principales) est envisagée mais où Y
doit aussi guider la construction des composantes.

Hypothèses préalables
• Relation linéaire approximative entre Y et les composantes latentes.
• Le nombre de composantes A est choisi par validation croisée (A << min(n,p)).
• Les composantes PLS sont orthogonales entre elles.
• Standardisation préalable des variables X recommandée.

Formules principales

Score T T = XW* (W* = R(P'R)⁻¹, R = poids PLS itérés)

Régression Ŷ = TQ' (Q = loadings Y, T = scores X)

X(k+1) = X(k) - t_k p_k' (résidus après

Déflation X
composante k)

Critère max Cov(Xw, Yq) s.c. ||w||=||q||=1 (NIPALS)

Comment se calcule-t-elle ?
L'algorithme NIPALS (Non-linear Iterative Partial Least Squares) extrait une composante à la fois :
(1) Initialiser u = y (ou la 1ère colonne de Y). (2) Calculer w = X'u/||X'u||. (3) Calculer t = Xw. (4)

Méthodes d'Ajustement — Sephora Cara | Page 14

Calculer q = Y't/||Y't||. (5) Mettre à jour u = Yq. (6) Itérer jusqu'à convergence. (7) Défléchir X et Y.
Répéter pour A composantes. Le nombre A optimal se choisit par validation croisée leave-one-out
(RMSCV).

Méthode 13 — Méthode des Moindres Carrés Pénalisés — Régression Ridge

(L2)

Description du modèle
La régression Ridge (Tikhonov regularization) ajoute une pénalité L2 (somme des carrés des
coefficients) à la fonction de perte MCO. Elle ne produit pas de sélection de variables (aucun
coefficient n'est exactement nul) mais réduit tous les coefficients vers zéro de manière uniforme.
Elle est particulièrement efficace en cas de multicolinéarité.

Pourquoi et dans quel cas l'utiliser ?

• Données avec forte multicolinéarité entre les variables explicatives (VIF élevé).
• Modèles p >> n (Ridge peut fonctionner même si X'X est singulière).
• Stabilisation des estimateurs MCO instables.
• Prédiction (biais/variance trade-off) plutôt qu'inférence causale.

Hypothèses préalables
• Relation linéaire entre Y et X.
• Variables X standardisées (centrage et réduction) pour que la pénalité soit équitable.
• L'intercept n'est généralement pas pénalisé.
• Le paramètre λ ≥ 0 contrôle l'intensité de la régularisation (λ=0 → MCO, λ→∞ → β=0).

Formules principales

Objectif Ridge β̂_Ridge = argmin {||Y-Xβ||² + λ||β||²}

Solution fermée β̂_Ridge = (XᵀX + λI)⁻¹ XᵀY

MSE(β̂_Ridge) = Var + Biais² < MSE(β̂_MCO) si λ bien

Biais/Variance
choisi

Choix λ λ* = argmin CV(λ) (validation croisée k-fold)

Comment se calcule-t-elle ?
On standardise les variables X. On calcule β̂_Ridge = (X'X + λI)⁻¹X'Y pour une grille de valeurs de
λ. On trace le chemin de régularisation (Ridge path) : coefficients en fonction de λ. On choisit λ*
par validation croisée k-fold (généralement k=5 ou 10) en minimisant le RMSE de validation. La
solution existe toujours (XᵀX + λI est toujours inversible pour λ>0), même si p>n.

Méthodes d'Ajustement — Sephora Cara | Page 15

 Méthode 14 — Régression LASSO — Least Absolute Shrinkage and
Selection Operator

Description du modèle
Le LASSO (Tibshirani, 1996) remplace la pénalité L2 de Ridge par une pénalité L1 (somme des
valeurs absolues des coefficients). La pénalité L1 a la propriété remarquable de produire des
coefficients exactement nuls, réalisant ainsi une sélection automatique de variables. Le LASSO est
particulièrement adapté aux modèles parcimonieux (sparse).

Pourquoi et dans quel cas l'utiliser ?

• Sélection automatique de variables parmi un grand nombre de prédicteurs candidats.
• Modèles parcimonieux : on suppose qu'un petit nombre de variables est vraiment pertinent.
• Données de haute dimension (p >> n) : génomique, text mining, finance.
• Situations où l'interprétabilité est importante (coefficients nuls identifient les variables inutiles).

Hypothèses préalables
• Relation linéaire entre Y et X.
• Variables X standardisées (le LASSO est sensible à l'échelle des variables).
• On suppose la parcimonie : la vraie solution β* est sparse (peu de coefficients non nuls).
• Pour la cohérence variable selection : condition d'irreprésentabilité (Irrepresentable
Condition).

Formules principales

Objectif LASSO β̂_LASSO = argmin {||Y-Xβ||² + λ·Σⱼ|βⱼ|}

β̂ⱼ = signe(β̂_MCO,j) · max(|β̂_MCO,j| - λ/2, 0)

Solution
(cas orthogonal)

S(z, γ) = signe(z)·max(|z|-γ, 0) (soft-

Opérateur seuil
thresholding)

β̂(λ) tracé par algorithme LARS (Least Angle

Chemin LARS
Regression)

Comment se calcule-t-elle ?
Le LASSO n'a pas de solution fermée en général. On utilise : (1) L'algorithme LARS (Efron et al.,
2004) qui trace le chemin de régularisation entier efficacement. (2) La descente de coordonnées
(coordinate descent) : pour chaque coordonnée j, on minimise par rapport à βj en fixant les autres
— la solution est l'opérateur de seuillage doux (soft-thresholding). (3) λ est choisi par validation
croisée. Les extensions incluent : Elastic Net (pénalité L1 + L2), Group LASSO, Adaptive LASSO.

Méthodes d'Ajustement — Sephora Cara | Page 16

Récapitulatif Général des Méthodes

Méthode Famille Robustesse Sélection Cas d'usage principal

variables
Brown Paramétrique Faible Non Séries temporelles avec tendance
Centre de Gravité Paramétrique Faible Non Ajustement simple rapide
Droite des Paramétrique Modérée Non Données avec outliers modérés
Médianes
Huber Robuste Élevée Non Outliers modérés, erreurs
asymétriques
LTS Robuste Très élevée Non Forte contamination (>50%)
GLS Paramétrique Faible Non Autocorrélation / hétéroscédasticité
WLS Paramétrique Faible Non Variances hétérogènes connues
LAD / L1 Non param. Très élevée Non Erreurs à queues épaisses
IRLS Algorithmique Élevée Non Solveur universel régression robuste
LOESS Non param. Modérée Non Tendances non linéaires locales
Splines Semi-param. Faible Non Relations par morceaux / GAM
Moy. Mobiles Lissage Faible Non Lissage séries temporelles
Quar. Mobiles Lissage Très élevée Non Lissage robuste / détect. anomalies
PLS Régularisée Faible Non Colinéarité forte / p>>n
(compression)
Ridge Régularisée Faible Non Multicolinéarité
LASSO Régularisée Faible Oui Parcimonie / haute dimension

Document rédigé par Sephora Cara — Statistiques, Prévision et Économétrie

Méthodes d'Ajustement — Sephora Cara | Page 17