HMMA237
Méthodes non paramétriques : Polynômes, splines et GAM
Cours: Joseph Salmon Scribes: Ryma Lakehal
1 Introduction
En pratique, les modèles linéaires ne sont pas toujours bien adaptés, on a alors la possibilité d'utiliser d'autres
alternatives, à savoir : les polynômes, les splines, les modèles additifs généralisés, les fonctions en escalier,
etc.
Bruit blanc
Polynôme de degré 1
Polynôme de degré 2
Polynôme de degré 5
Polynôme de degré 6
yi
x1 xi xn
Figure 1 Les limites du modèle linéaire
2 Modèle polynomial
On suppose que l'on dispose de l'observation de n variables aléatoires réelles yi , i “ 1, . . . , n indépendantes,
alors un modèle polynomial de degré D s'écrit sous la forme :
D
ÿ
yi “ β0˚ ` βj˚ xji ` εi , i “ 1, . . . , n
j“1
Où les xi , i “ 1, . . . , n sont les observations de la variable explicative X et on suppose que les variables
aléatoires εi sont i.i.d. de loi N p0, σ 2 q.
L'écriture matricielle du modèle :
y “ Xβ ˚ ` ε
1
HMMA237 2
¨ ˛
1 x1 x21 xD
¨¨¨1
˚1
˚ x2 x22 xD
¨¨¨ ‹
2 ‹
x23 3 ‹ qui est une matrice de Vandermonde de n lignes et D ` 1 colonnes,
D‹
avec X “ ˚1 x3 x
¨¨¨
˚
˚ .. .. .... ‹
˝. . .
. ‚
1 xn xn ¨ ¨ ¨ xD
2
n
où l'on note Xi,j “ xj´1
i et β ˚ “ pβ0˚ , ¨ ¨ ¨ , βD q P RD`1 .
˚ T
Remarque. On a D ` 1 paramètres pour un polynôme de de degré D et ils sont estimés par la méthode des
moindres carrés
2.1 Choix du degré
On peut uiliser la Validation Croisée pour choisir le degré du polynôme ou en d'autres critères de sélection
de type AIC, BIC, etc.
2.2 Avantages et inconvénients d'un modèle polynomiale
Les avantages
utile en estimation non-paramétrique,
exibilité pour de faibles degrés.
Les inconvénients et limites
les polynômes ne sont pas localisés (fonctions globales, non localisées),
le nombre de paramètres à estimer augmente vite avec le degré (et la dimension),
eet de bord et oscillations (mauvaise prédiction en dehors de la gamme de valeurs observées).
Exemple. On prend n “ 2 et D “ 2, considérons xi P R2 : xi “ xxi,2
` i,1 ˘
et ˆ ˙
1 x1,1 x1,2 x21,1 x21,2 x1,1 x1,2
X“ .
1 x2,1 x2,2 x22,1 x22,2 x2,1 x2,2
Un polynôme de degré 2 requiert de xer les coe cients liés aux variables : rxi,1 , x1,2 , x2i,1 , x2i,2 , xi,1 xi,2 s
3 Splines (Cerces)
Cette méthode non paramétrique a été développée dans les années 1950/60's notamment par Pierre Bézier.
De nition. Soit f une fonction polynomiale par morceaux sur un intervalle ra, bs, f : ra, bs Ñ R, composée
de n sous intervalles rxi´1 , xi s avec a “ x0 ă x1 ă ¨ ¨ ¨ ă xn´1 ă xn “ b. La restriction de f sur chaque
intervalle rxi´1 , xi s est un polynôme Pi : rxi´1 , xi s Ñ R, ainsi
si x P rx0 , x1 s
$
’
’P1 pxq
si x P rx1 , x2 s
’
&P2 pxq
’
f xq “ ..
’
’
’ .
si x P rxn´1 , xn s
’
Pn pxq
%
HMMA237 3
Le plus haut degré des polynômes Pi est appelé l'ordre du spline f , et les xi sont appelé les noeuds
Figure 2 Exemple d'un spline de degré 3
Remarque. Les splines les plus populaires sont les splines (cubiques) d'ordre 3
Remarque. On privilégie des splines lisses : C0 , C1 , C2 , etc.
3.1 Cadre d'utilisation
Les splines sont utilisés dans des problèmes d'interpolation et de lissage pour représenter numériquement des
contours complexes, dans des domaines tels que :
statistique,
computer vision,
analyse numérique.
3.2 Estimation par splines
Pour ajuster des splines quand on observe des points pxi , yi q P R ˆ R pour i “ 1, . . . , n on chercher le spline
avec une courbure minimum, i.e., résoudre :
˜ ¸2
n żb
1 ÿ ˇ 2 ˇ2
fˆ “ SPλ pyq P arg min pf pxi q ´ yi `λ ˇf ptqˇ dt .
f est un spline n i“1 a
Remarque. Quand
şb 2
λ Ñ 8 , on a nécessairement a
|f 2 ptq| dt “ 0 ñ f 2 “ 0 ñ f 1 “ cte
HMMA237 4
alors f est un polynôme de degré D “ 1 et donc a ne par morceaux, sur chaque intervalle, et peut donc
interpoler tous points.
x
0
Figure 3 Polynôme d'interpolation de Lagrange (très approché !)
La solution : la solution est atteinte pour un spline cubique (d'ordre 3), et peut être obtenue par un moindre
carré régularisé, pour une certaine matrice Ω P Rnˆn :
2
arg min }y ´ g} ` λg T Ωg .
gPRn
Note : avec cette régularisation les splines ont pour n÷uds les xi .
Remarque. Numériquement, on peut résoudre ce problème comme un problème d'optimisation quadratique.
4 Modèles additifs généralises (GAM)
Avec les des fonctions réelles, i.e., fj : R Ñ R, le modèle s'écrit
p
ÿ p
ÿ
yi “ fj pxi,j q ` εi ou y “ fj pxj q ` ε
j“1 j“1
avec ¨ ˛ ¨ ˛
fj px1,j q x1,j
.. ˚ . ‹
fj pxj q “ ˝ ‚ et xj “ ˝ .. ‚
˚ ‹
.
fj pxn,j q xn,j
et où les εi sont i.i.d. centrés de variance σ , 2
Remarque. En optimisation l'intérêt est le suivant :
˜ p ¸ ˜ ¸
ÿ
arg min f pxj q “ arg min f pxj q, . . . , arg min f pxp q
x1 ,...,xp j“1 x1 xp
HMMA237 5
Il remplace un "gros" problème d'optimisation en p petits "problèmes" (de dimension 1)
Remarque. potentiellement un des fj encode la variable constante.
4.1 Algorithme : Rétro-ajustement d'un modèle additif (Back tting)
Entrées : pxi qi“1,...,n , pyi qi“1,...,n , pλj qj“1,...,p
Initialisation : f1 “ 0, . . . , fp “ 0 et r “ y (résidu)
tant que la convergence n'est pas atteinte faire
pour j “ 1, . . . , p faire
r “ r ` fj pxj q
fj “ SPλj prq
r “ r ´ fj pxj q
retourner pf1 , . . . , fp q “ f
4.2 Avantages et inconvénients des GAM
Avantages
peut modéliser des eets non-linéaires automatiquement,
interprétation possible : fonctions 1D (visualisation possible),
peut s'étendre au cas d'interactions d'ordre plus élevées (p petit).
Inconvénients
Calibrage di cile : au moins un paramètre par variable, en général, on suppose que λ1 “ λ2 “ ¨ ¨ ¨ “ λp
pour simpli er ce choix ;
Critère d'arrêt n'est pas si simple (non-convexe).
Remarque. Cet algorithme s'apparente à l'algorithme d'optimisation "descente par coordonnée" qui cherche
à résoudre le genre de problème suivant :
min f px1 , . . . , xp q.
x1 ,...,xp
Algorithme du descente par coordonnée :
Initialisation : x “ 0
tant que la convergence n'est pas atteinte faire
pour j “ 1, . . . , p faire
xj Ð arg min f px1 , . . . , xj´1 , xj , . . . , xp q.
xj
Références
[SAL18] J. SALMON and N. VARZELEN, Méthodes non-linéaires : Polynômes, modèles par morceaux,
splines et GAM, Université de Montpellier, 2018