Les Arbres de Décision
Apprentissage Automatique Supervisé
Abderrahim EL AMRANI
INSEA
DECEMBER 2025
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 1 / 15
Plan
1 Introduction
2 Algorithmes de Construction
3 Exemple Pratique
4 Avantages et Limites
5 Techniques Avancées
6 Applications
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 2 / 15
Qu’est-ce qu’un Arbre de Décision ?
Définition
Un arbre de décision est un modèle d’apprentissage supervisé utilisé pour la
classification et la régression.
Caractéristiques principales :
Structure hiérarchique de décisions
Facile à interpréter et à visualiser
Peut gérer des données numériques et catégorielles
Ne nécessite pas de normalisation des données
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 3 / 15
Structure d’un Arbre
Nœud racine
(Test)
Nœud interne Feuille
(Test) Classe C
Feuille Feuille
Classe A Classe B
Nœud racine : point de départ
Nœuds internes : tests sur les attributs
Feuilles : décisions finales (classes)
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 4 / 15
Algorithmes Principaux
ID3 (Iterative Dichotomiser 3)
Utilise l’entropie
Gain d’information CART (Classification and Regression
Attributs catégoriels Trees)
Arbres binaires
C4.5 Indice de Gini
Extension de ID3 Classification et régression
Gain ratio
Gère les valeurs manquantes
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 5 / 15
Critères de Division
1. Entropie
c
X
H(S) = − pi log2 (pi ) (1)
i=1
2. Gain d’information
X |Sv |
IG (S, A) = H(S) − H(Sv ) (2)
|S|
v ∈Values(A)
3. Indice de Gini
c
X
Gini(S) = 1 − pi2 (3)
i=1
où pi est la proportion de la classe i dans l’ensemble S.
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 6 / 15
Exemple : Prédiction Météo
Dataset : Jouer au tennis selon la météo
Météo Température Humidité Vent Jouer ?
Ensoleillé Chaud Haute Faible Non
Ensoleillé Chaud Haute Fort Non
Nuageux Chaud Haute Faible Oui
Pluie Doux Haute Faible Oui
Pluie Frais Normal Faible Oui
Pluie Frais Normal Fort Non
Objectif : Construire un arbre pour prédire si on peut jouer au tennis.
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 7 / 15
Arbre Résultant
Météo ?
Ensoleillé Nuageux Pluie
Humidité ? Oui Vent ?
Non Oui Oui Non
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 8 / 15
Avantages
Points Forts
Interprétabilité : facile à comprendre et à expliquer
Préparation minimale : pas de normalisation nécessaire
Versatilité : données numériques et catégorielles
Gestion des non-linéarités : capture les relations complexes
Sélection de caractéristiques : identifie les variables importantes
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 9 / 15
Limites et Problèmes
Problèmes Principaux
Surapprentissage : arbres trop profonds
Instabilité : sensible aux variations des données
Biais : favorise les attributs avec beaucoup de valeurs
Sous-optimal : algorithme glouton (pas de garantie d’optimalité globale)
Solutions :
Élagage (pruning)
Validation croisée
Ensembles d’arbres (Random Forest, Gradient Boosting)
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 10 / 15
Élagage (Pruning)
Objectif : Réduire la complexité et éviter le surapprentissage
Pré-élagage Post-élagage
Arrêt précoce Construire l’arbre complet
Profondeur maximale Supprimer les branches
Nombre minimal d’exemples Validation sur ensemble test
Critère
Compromis entre complexité de l’arbre et erreur de classification.
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 11 / 15
Méthodes d’Ensemble
Random Forest
Combine plusieurs arbres de décision
Bootstrap des données (bagging)
Sélection aléatoire des attributs
Vote majoritaire pour la prédiction
Gradient Boosting
Construction séquentielle d’arbres
Chaque arbre corrige les erreurs du précédent
XGBoost, LightGBM, CatBoost
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 12 / 15
Domaines d’Application
Médecine Marketing
Diagnostic médical Segmentation clients
Prédiction de maladies Prédiction de churn
Analyse de survie Recommandations
Finance Autres
Évaluation du risque de crédit Reconnaissance d’images
Détection de fraude Traitement du langage
Prédiction boursière Systèmes experts
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 13 / 15
Conclusion
Résumé
Les arbres de décision sont des outils puissants et intuitifs pour l’apprentissage
automatique, offrant un bon équilibre entre performance et interprétabilité.
Points clés à retenir :
1 Structure hiérarchique simple à comprendre
2 Plusieurs algorithmes de construction (ID3, C4.5, CART)
3 Élagage nécessaire pour éviter le surapprentissage
4 Méthodes d’ensemble améliorent les performances
5 Large éventail d’applications pratiques
Abderrahim EL AMRANI (INSEA) Les Arbres de Décision DECEMBER 2025 14 / 15
Merci pour votre attention !
Questions ?