Université Sidi Mohamed Ben Abdellah
Faculté des Sciences Dhar Mehraz
Département d’Informatique
Master MLAIM
Module: Machine Learning
A.U:2024/2025
Pr. Ismail EL BATTEOUI
Métriques d’évaluation
Matrice de confusion:
La matrice de confusion permet d’analyser les performances d’un
modèle lors d’une tâche de classification.
Elle compare les valeurs réelles aux valeurs prédites par le modèle.
Elle permet également de visualiser des paramètres tels que la
précision, l’exactitude ou la spécificité.
La matrice de confusion offre une visualisation plus complète de la
performance du classificateur. Par exemple, il permet de voir le taux
d’erreurs ou les types d’erreurs et de les expliquer. De ce fait, il
compare les exemples classés correctement par rapport aux exemples mal
classés. Ces valeurs sont classées en tant que faux positifs, vrais positifs,
faux négatifs et vrais négatifs.
Predicted class
Positif(yes) Négatif(no)
Real class
Positif(yes) TP FN
Négatif(no) FP TN
Module: Machine Learning MLAIM 2024/2025 2
Métriques d’évaluation
Matrice de confusion:
La matrice de confusion offre une visualisation plus complète de la
performance du classificateur. Par exemple, il permet de voir le taux
d’erreurs ou les types d’erreurs et de les expliquer. De ce fait, il
compare les exemples classés correctement par rapport aux exemples mal
classés. Ces valeurs sont classées en tant que faux positifs, vrais positifs,
faux négatifs et vrais négatifs.
Exemple: détecter une maladie
100 patients au total
40 ont la maladie (TP) , 60 ne l’ont pas (TN)
Predicted class
Positif(yes) Négatif(no)
Real class
Positif(yes) TP=35 FN=5
Négatif(no) FP=10 TN=50
Module: Machine Learning MLAIM 2024/2025 3
Métriques d’évaluation
Matrice de confusion: Métriques utilisées
Pour interpréter plus facilement la matrice de confusion et
évaluer la performance du modèle, il existe différentes
métriques qui peuvent être utilisées.
Recall (Rappel)
En termes de classification, le rappel correspond au
pourcentage d’exemples positifs qu’un modèle a
automatiquement classé parmi tous les exemples positifs. Le
calcul du rappel se fait par la division de la valeur TP par la
valeur FN combiné au total d’exemples positifs. Il peut aussi
être appelé taux de réussite.
Un rappel élevé signifie que le modèle trouve presque tous les
positifs (il rate peu de cas positifs).
Un rappel faible signifie que le modèle rate beaucoup de vrais
positifs (trop de FN).
Module: Machine Learning MLAIM 2024/2025 4
Métriques d’évaluation
Matrice de confusion: Métriques utilisées
Pour interpréter plus facilement la matrice de confusion et
évaluer la performance du modèle, il existe différentes
métriques qui peuvent être utilisées.
Accuracy (Exactitude)
Le paramètre d’exactitude permet de déterminer le taux de
prédiction correct parmi toutes les classes positives et
négatives. Il se calcule en divisant la somme des TP et des TN
par le nombre total d’exemples.
L’accuracy permet de savoir combien de fois le modèle a-t-il eu
raison et ce sur toutes les données.
Peut être trompeuse dans le cas d’un dataset déséquilibré.
Module: Machine Learning MLAIM 2024/2025 5
Métriques d’évaluation
Matrice de confusion: Métriques utilisées
Pour interpréter plus facilement la matrice de confusion et
évaluer la performance du modèle, il existe différentes
métriques qui peuvent être utilisées.
Précision (Precision)
La précision nous indique:
Parmi tout ce que le modèle a prédit comme étant positif,
combien étaient vraiment positifs.
À quel point on peut faire confiance à une prédiction positive
du modèle.
Si le modèle fournit une prédiction positive , quelle est la
probabilité que ce soit vrai.
Quand un modèle a une Precision=x%, il a raison x% du temps.
Les autres (100-x)% sont des fausses prédictions positives (faux
positifs).
La précision est importante si les faux positifs sont coûteux.
Exemple: domaine médical(diagnostique)
Inutile seule si le rappel est très bas (le modèle ne détecte presque rien).
Module: Machine Learning MLAIM 2024/2025 6
Métriques d’évaluation
Matrice de confusion: Métriques utilisées
Exercice
Chercher d’autres métriques utilisées.
Module: Machine Learning MLAIM 2024/2025 7
Algorithme K Nearst Neighbors
(K-NN)
Introduction:
K-NN est un algorithme d’apprentissage supervisé. Il peut être utilisé
aussi bien pour la régression que pour la classification. Son
fonctionnement peut être assimilé à l’analogie suivante:
“dis moi qui sont tes voisins, je te dirais qui tu es…”.
Pour effectuer une prédiction, K-NN ne va pas calculer un modèle
prédictif à partir d’un Training Set comme c’est le cas pour la régression
logistique ou la régression linéaire.
En effet, K-NN n’a pas besoin de construire un modèle prédictif.
Ainsi, pour K-NN il n’existe pas de phase d’apprentissage proprement
dite. C’est pour cela qu’il appartienne à la catégorie dit Lazy models
Learning.
Module: Machine Learning MLAIM 2024/2025 8
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:
Pour effectuer une prédiction, l’algorithme K-NN se base sur le jeu de
données en entier.
En effet, pour une observation, qui ne fait pas parti du jeu de données,
qu’on souhaite prédire, l’algorithme cherche les K instances du jeu de
données les plus proches de notre observation.
Ensuite pour ces voisins, l’algorithme se basera sur leurs variables de
sortie (output variable) pour calculer la valeur de la variable de
l’observation qu’on souhaite prédire.
Régression: c’est la moyenne (ou la médiane) des variables de sortie des
plus proches observations qui servira pour la prédiction.
Classification: c’est la plus petite valeur des variables de sortie des
plus proches observations qui servira pour la prédiction.
Module: Machine Learning MLAIM 2024/2025 9
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:
Le fonctionnement de K-NN peut être exprimé sous forme du pseudo-
code suivant :
Module: Machine Learning MLAIM 2024/2025 10
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:Cas de classification:
Pour effectuer une prédiction, l’algorithme K-NN se base sur le jeu de
données en entier.
Le jeu de données doit posséder une ou plusieurs caractéristiques et un label
pour chaque donnée.
Module: Machine Learning MLAIM 2024/2025 11
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:Cas de classification:
Exemple:
On considère deux animaux, A1 et A2 se distinguant de la largeur de leur
gueule et la longueur de leur corps.
On ajoute un nouveau animal dont on connait les
caractéristiques mais pas l’espèce :
Nouveau : gueule = 0.19, longueur = 2.91
À quelle classe appartient cet animal ?
Module: Machine Learning MLAIM 2024/2025 12
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:Cas de classification:
Exemple:
On va répondre à cette question en appliquant K-NN.
Nouveau : gueule = 0.19, longueur = 2.91
Pour k=3
Module: Machine Learning MLAIM 2024/2025 13
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:Cas de classification:
Choix de k:
Dans k-NN, le choix de k est crucial pour obtenir de meilleures
performances. Voici les principales pistes à suivre:
•Essais empiriques (validation croisée)
•Biais et variance:
-k petit (k = 1) :
Faible biais, forte variance: Sensible au bruit et aux outliers.
-k grand (k =20) :
Plus stable, moins sensible au bruit.
La frontière devient lisse et simple, ne capturant pas les détails fins
des données.
On part avec k= où N est le nombre total d’observations.
On ajuste ensuite autour de cette valeur.
Module: Machine Learning MLAIM 2024/2025 14
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:Cas de classification:
Choix d’une distance et prétraitement des données
o Choix de distance
Type de données Distance adaptée
Numériques Euclidienne, Manhattan
Catégorielles Hamming, Jaccard
Mixtes Gower distance
Texte / Vecteurs Cosine similarity
Géométriques Manhattan
o Prétraitement
Par ailleurs, ainsi qu’on peut le remarquer dans l’exemple
précédent, les données ne sont pas toutes du même ordre de
grandeur. Cela engendre un problème : les données les
plus grandes vont s’imposer dans le calcul de distance.
Normalisation des données
Module: Machine Learning MLAIM 2024/2025 15
Algorithme K Nearst Neighbors
(K-NN)
Principe de fonctionnement:Cas de classification:
Exercice
Supposons que l’on a un problème de classification qui consiste à déterminer la classe
d’appartenance de nouvelles instances Xi. Le domaine de valeurs des classes possibles
est 1,2,3.
Selon la base de connaissance suivante, déterminez à la main (ou à l’aide d’un tableur)
la classe de l’instance X6, dont les valeurs pour les attributs
numériques A1 à A5 sont <3,12,4,7,8>, à l’aide de l’algorithme des k-voisins les plus
proches (K-NN) avec K=1 puis K=3.
Montrez tous les calculs.
Instances A1 A2 A3 A4 A5 Classe
X1 3 5 4 6 1 1
X2 4 6 10 3 2 2
X3 8 3 4 2 6 3
X4 2 1 4 3 6 3
X5 2 5 1 4 8 2
Module: Machine Learning MLAIM 2024/2025 16
Arbres de décision (Decision tree)
Introduction:
Se sont des algorithmes d’apprentissage supervisé
utilisés aussi bien dans des problèmes de régression que
de classification.
Permettent de diviser un ensemble d’observation en
groupes homogènes basés sur des règles appliquées sur
les variables d’entrée.
ils servent de base à des techniques plus
avancées, telles que le bagging, le boosting et les
forêts aléatoires.
Un arbre de décision commence par un nœud
racine qui représente l'ensemble de la population
ou de l'échantillon, qui se sépare ensuite en deux
groupes uniformes ou plus par le biais d'une
méthode appelée "splitting".
Lorsque les sous-nœuds subissent une nouvelle
division, ils sont identifiés comme des nœuds de
décision, tandis que ceux qui ne se divisent pas
sont appelés nœuds terminaux ou feuilles. Un
segment d'un arbre complet est appelé branche.
Module: Machine Learning MLAIM 2024/2025 17
Arbres de décision (Decision tree)
Principe de fonctionnement:
Pour présenter le fonctionnement des arbres de décision dans la
classification, on va se baser sur le dataset suivant:
Module: Machine Learning MLAIM 2024/2025 18
Arbres de décision (Decision tree)
Principe de fonctionnement:
Pour présenter le fonctionnement des arbres de décision dans la
classification, on va se baser sur le dataset suivant:
Module: Machine Learning MLAIM 2024/2025 19
Arbres de décision (Decision tree)
Phase d’entrainement:
Pour trouver des nœuds purs dans l’arbre précédent on a placer des
séparations d’une manière intuitive.
L’arbre de décision trouve par lui-même les meilleurs séparations.
Dans l’exemple, la probabilité d’appartenance à une classe est de 1
(cas idéal)
On général et si on modifie les séparations, les probabilités
d’appartenance ne sont plus de 1 mais d’une valeur proche de 1.
Donc le but d’arbre de décision est de trouver la séparation pour
laquelle la probabilité d’appartenance à une même classe est la
plus élevée possible.
A cet effet, deux métriques seront utilisées l’entropie et
l’impureté de Gini.
Module: Machine Learning MLAIM 2024/2025 20
Arbres de décision (Decision tree)
Phase d’entrainement: Entropie
En principe, les arbres de décision devaient chercher les meilleurs
caractéristiques de séparation dans la phase d’entrainement dont le
but de trouver des feuilles les plus pures possibles.
Pour chaque nœud on calcule l’inverse de la somme des produits
des probabilités d’appartenance aux classes et le logarithme à base 2
de ces probabilités.
Le but de l’entropie est d’avoir dans une feuille la probabilité la
plus élevée pour une seule classe et pour les autres classes de la
même feuille les probabilités les plus faibles.
Module: Machine Learning MLAIM 2024/2025 21
Arbres de décision (Decision tree)
Phase d’entrainement: Entropie
Module: Machine Learning MLAIM 2024/2025 22
Arbres de décision (Decision tree)
Phase d’entrainement: Entropie
Module: Machine Learning MLAIM 2024/2025 23
Arbres de décision (Decision tree)
Phase d’entrainement: Entropie
Exemple:
Module: Machine Learning MLAIM 2024/2025 24
Arbres de décision (Decision tree)
Phase d’entrainement: Entropie
Exemple:
Module: Machine Learning MLAIM 2024/2025 25