Classification
La classification est une composante majeure de l’apprentissage supervisé. Elle consiste à
prédire la catégorie ou la classe d’une observation à partir de caractéristiques mesurables.
Le modèle est entraîné sur des données dont les classes sont connues, puis utilisé pour
classer de nouvelles données.
1. Notion générale de classification
Définition
La classification vise à déterminer si une observation appartient à un groupe, une catégorie
ou une classe.
Elle attribue une étiquette à chaque élément à partir de ses attributs (variables explicatives).
Caractéristiques
● Les classes sont connues à l’avance (apprentissage supervisé).
● L’objectif est de produire un modèle capable de généraliser sur de nouvelles
données.
● La qualité du modèle se juge par des mesures calculées sur un échantillon test.
Exemples classiques
● Détecter si un email est un spam ou non.
● Prédire si un patient est à risque ou non à partir de ses caractéristiques médicales.
● Classer un client comme susceptible de résilier son abonnement ou non (churn).
2. Processus de classification
La démarche se déroule en deux étapes principales :
Étape 1 : Construction du modèle
● On dispose d’un ensemble d’apprentissage comportant des observations et leur
classe.
● L’algorithme apprend des règles de décision à partir de ces données.
● Le résultat obtenu est un modèle classifieur.
Étape 2 : Utilisation du modèle
● Le modèle est appliqué à des données nouvelles pour prédire leur classe.
● On mesure le taux d’erreur en comparant les prédictions sur un jeu de test avec les
vraies classes.
3. Évaluation des modèles de classification
Évaluer la performance d’un modèle est essentiel pour savoir s’il est fiable.
3.1 Matrice de confusion
Elle compare les résultats du modèle avec les vraies classes et comprend :
● Vrais positifs (VP) : prédits positifs et réellement positifs
● Faux positifs (FP) : prédits positifs mais réellement négatifs
● Vrais négatifs (VN) : prédits négatifs et réellement négatifs
● Faux négatifs (FN) : prédits négatifs mais réellement positifs
3.2 Accuracy (taux de bonnes prédictions)
Indique le pourcentage total de bonnes prédictions.
Limite : peu fiable lorsque les classes sont déséquilibrées (par exemple une classe très
majoritaire).
3.3 Recall (rappel)
Évalue la capacité du modèle à reconnaître correctement les éléments réellement positifs.
Important lorsqu’on veut éviter les faux négatifs (exemple : détection de maladies, fraude).
3.4 Precision (précision)
Mesure la proportion de prédictions positives réellement correctes.
Crucial lorsque les faux positifs sont coûteux (exemple : filtres anti-spam, contrôles de
sécurité).
3.5 F1-score
C’est la moyenne harmonique du rappel et de la précision.
Utile pour évaluer un modèle lorsque précision et rappel sont en tension, ou lorsque les
classes sont déséquilibrées.
4. Méthode de classification : les Arbres de Décision
Les arbres de décision constituent l’une des méthodes les plus intuitives et visuelles pour
effectuer une classification.
4.1 Définition
Un arbre de décision est une structure arborescente composée :
● d’une racine : premier test appliqué,
● de nœuds internes : tests basés sur des attributs,
● de branches : issues possibles du test,
● de feuilles : classes finales prédites.
Chaque chemin racine → feuille correspond à une règle de décision.
4.2 Objectif
Créer un modèle capable de prédire la classe d’une nouvelle observation en suivant une
séquence logique de tests sur ses attributs.
4.3 Principe
À chaque nœud, l’algorithme :
1. Sélectionne l’attribut qui sépare le mieux les données (critère de pureté).
2. Divise les données en sous-groupes selon les valeurs de cet attribut.
3. Répète le processus de manière récursive jusqu’à atteindre des feuilles homogènes
ou un critère d’arrêt.
5. Critères de sélection des attributs : Gini et Entropie
Les arbres utilisent des mesures pour sélectionner le « meilleur » attribut à chaque étape.
5.1 Indice de Gini
Mesure le niveau d’impureté d’un nœud.
● Gini = 0 → nœud pur (données toutes de la même classe).
● Gini élevé → mélange de classes.
L’attribut choisi est celui réduisant le plus l’impureté.
5.2 Entropie
Mesure l’incertitude :
On sélectionne l’attribut qui donne le meilleur gain d’information, c’est-à-dire la plus forte
baisse d’entropie après séparation.
6. Construction d’un arbre de décision
La construction passe par :
● Le calcul de l’impureté initiale.
● Le calcul de l’impureté après séparation par chaque variable.
● Le choix de la variable maximisant la réduction d’impureté.
● La répétition du processus sur chaque sous-nœud.
Une fois l’arbre construit, il peut être transformé en un ensemble de règles simples du type
:
● Si Condition 1 et Condition 2 alors Classe A.
● Si Condition 1 et Non Condition 2 alors Classe B.
7. Avantages et inconvénients des arbres
Avantages
● Faciles à comprendre et interpréter.
● Fonctionnent avec peu de préparation des données.
● Acceptent variables numériques et catégorielles.
● Performants même si les hypothèses du modèle réel sont un peu violées.
Inconvénients
● Sensibles au bruit : risque de surapprentissage (overfitting).
● Peu stables : un petit changement dans les données peut modifier la structure.
● Biais possibles vers les classes dominantes.
● L’arbre obtenu n’est pas toujours optimal.
8. KNN (k-Nearest Neighbors)
Le KNN (k-Nearest Neighbors) est une méthode d’apprentissage supervisé dont le but est
de classer une nouvelle donnée en se basant sur sa proximité avec des données déjà
connues.
1. Idée principale
L’idée centrale est simple :
Pour savoir à quelle classe appartient une nouvelle observation, on regarde ses “k
voisins les plus proches”.
La classe majoritaire parmi ces voisins devient la classe prédite.
Ainsi :
● si les voisins les plus proches sont majoritairement des Fruits → la nouvelle donnée
est un Fruit,
● s’ils sont majoritairement des Légumes → elle est un Légume.
2. Nature du KNN
1. Méthode d’apprentissage supervisé
Il faut des données déjà étiquetées pour pouvoir comparer.
2. Méthode de raisonnement par similarité
Elle consiste à prendre des décisions en cherchant des cas similaires déjà connus.
3. Pas de vraie phase d’apprentissage
Le modèle n’apprend pas de règles :
modèle = données + fonction de distance + choix de k.
3. Composition du modèle KNN
Le « modèle » KNN se résume à :
● un échantillon d’apprentissage (les données d’origine),
● une fonction de distance (euclidienne, Manhattan…),
● un nombre k de voisins à considérer,
● une méthode de vote (majorité).
4. Fonctionnement étape par étape
Le cours décrit l’algorithme en 4 étapes simples :
1. Calculer les distances entre la nouvelle observation X et toutes les observations du
jeu de données.
2. Trier et retenir les k observations les plus proches.
3. Regarder leurs classes (labels).
4. Attribuer à X la classe la plus fréquente parmi ces k voisins.
5. Illustration du principe (selon les figures du cours)
A. Si on prend 1 seul voisin (k = 1)
La classe du voisin le plus proche devient la classe de la nouvelle donnée.
B. Si on prend 2 voisins
On regarde les deux plus proches :
● si les deux appartiennent à la même classe → classification évidente
● si les deux sont différents → ambiguïté
C. Si on prend 3 voisins, 4 voisins, etc.
Plus k augmente, plus la décision devient « stable ».
6. Choix de la distance
Le cours présente plusieurs distances utilisées par KNN :
Distance euclidienne
C’est la plus courante. Calcule la racine carrée de la somme des écarts au carré.
Distance Manhattan
Somme des valeurs absolues des écarts.
Distance Minkowski
Généralisation des deux précédentes.
Autres distances
Jaccard, Hamming… selon le type de données.
7. Choix de la valeur K
Le cours donne une règle qualitative :
● K petit : modèle sensible au bruit → risque de surapprentissage.
● K grand : modèle plus stable mais risque de sous-apprentissage.
● K = nombre total d’observations : classification trop généralisée → inefficace.
Le choix de K dépend donc du jeu de données.
8. Limites du KNN
Le cours mentionne trois grandes limites :
1. Le modèle doit stocker toutes les données → coûteux si elles sont nombreuses.
2. Très dépendant de la fonction de distance.
3. Le choix du k optimal n’est pas intuitif → nécessite des tests.