Scribd
Importer
27 vues12 pages

Régression Ridge : Concepts et Applications

La régression Ridge est une méthode de régularisation qui ajoute une pénalité L2 pour réduire les coefficients tout en conservant toutes les variables, ce qui aide à gérer la multicollinéarité et à éviter le surajustement. Le choix du paramètre λ est crucial et se fait généralement par validation croisée pour optimiser la performance prédictive. Bien que Ridge améliore la stabilité du modèle, il ne sélectionne pas les variables comme le LASSO, ce qui peut affecter l'interprétabilité des résultats.

Transféré par

Khadija Benhamida
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PPTX, PDF, TXT ou lisez en ligne sur Scribd
27 vues12 pages

Régression Ridge : Concepts et Applications

La régression Ridge est une méthode de régularisation qui ajoute une pénalité L2 pour réduire les coefficients tout en conservant toutes les variables, ce qui aide à gérer la multicollinéarité et à éviter le surajustement. Le choix du paramètre λ est crucial et se fait généralement par validation croisée pour optimiser la performance prédictive. Bien que Ridge améliore la stabilité du modèle, il ne sélectionne pas les variables comme le LASSO, ce qui peut affecter l'interprétabilité des résultats.

Transféré par

Khadija Benhamida
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PPTX, PDF, TXT ou lisez en ligne sur Scribd

Régression Ridge : Concepts et

Applications
Une approche moderne de la
régression linéaire
Introduction à la Régression Linéaire

• - Modéliser la relation entre variables explicatives et cible

• - Régression simple : Une variable explicative


• - Régression multiple : Plusieurs variables
explicatives
• - Objectif : Prédire une variable cible continue
Problèmes de la Régression Linéaire Standard

• - Sensibilité aux valeurs aberrantes

• - Overfitting lorsque trop de variables sont


incluses
• - Multicollinéarité : Problème quand les
variables sont trop corrélées
• - Peut donner des coefficients instables
Introduction à la Régularisation

• - Solution pour éviter le surajustement

• - Ajoute une contrainte aux coefficients pour


éviter des valeurs extrêmes
• - Deux types principaux :
• - L1 (LASSO) : Sélectionne les variables en
mettant certains coefficients à zéro
• - L2 (Ridge) : Réduit la magnitude des
coefficients sans les annuler
Régression Ridge : Définition et Principe

• - Ajoute une pénalité L2 à la fonction de coût

• - Réduit les coefficients tout en gardant toutes


les variables
• - Utile quand on a beaucoup de variables
corrélées
• - Objectif : Contrôler la complexité du modèle
et améliorer la généralisation
Formulation Mathématique

• Fonction de coût avec régularisation Ridge :

• J(β) = MSE + λ ∑ β_i²


• - λ : Hyperparamètre qui contrôle la pénalité
• - Plus λ est grand, plus les coefficients sont
réduits
• - Permet de trouver un bon équilibre entre
biais et variance
Choix du Paramètre λ

• - Comment choisir la valeur de λ ?

• - Utilisation de la validation croisée pour tester


différentes valeurs
• - Courbe de régularisation : Évolution des
coefficients en fonction de λ
• - Une valeur optimale de λ améliore la
prédiction sans trop contraindre le modèle
Impact sur le Compromis Biais-Variance

• - Sans régularisation : Faible biais, forte variance → Risque de


surajustement

• - Avec régularisation : Augmente le biais mais


réduit la variance → Meilleure généralisation
• - Objectif : Trouver un bon équilibre pour
maximiser la performance en prédiction
Avantages et Inconvénients de Ridge

• + Réduit la variance du modèle

• + Gère bien la multicollinéarité


• - Ne sélectionne pas les variables comme le
LASSO
• - Peut réduire l'interprétabilité des coefficients
Comparaison avec d’Autres Méthodes

• - Régression standard : Sensible aux outliers et à la multicolinéarité

• - Ridge : Réduit la variance mais conserve


toutes les variables
• - LASSO : Peut éliminer des variables inutiles
• - Elastic Net : Combine Ridge et LASSO pour un
meilleur compromis
Application Pratique en Python

• Exemple avec scikit-learn :

• from sklearn.linear_model import Ridge


• from sklearn.model_selection import
train_test_split
• from [Link] import
StandardScaler

• # Chargement des données


• X_train, X_test, y_train, y_test =
Conclusion

• - Ridge Regression est une amélioration de la régression linéaire

• - Réduit le surajustement et améliore la


stabilité
• - Nécessite un bon choix de λ pour être
efficace
• - Utilisé en finance, science des données et
économétrie

Vous aimerez peut-être aussi