Evaluation des modèles de classification

 La matrice de confusion

• Outil de mesure très utile pour évaluer la qualité d’un

modèle de classification

• Montre les erreurs de classements :

• Dans le cas de classification binaire, on définit :

 TN : le nombre de vrais négatifs, c.-à-d. les exemples de classe négative dont la classe est prédites
comme négative ;
 TP: le nombre de vrais positifs, c.-à-d. les exemples de classe positive dont la classe est prédite
comme positive;
 FP: le nombre de faux positifs, c.-à-d. les exemples de classe négative dont la classe est prédite
comme positive ;
 FN : le nombre de faux négatifs, c.-à-d. les exemples de classe positive dont la classe négative

MEESI/2024-2025 1
 Evaluation des modèles de classification

 La matrice de confusion à plusieurs classes

 S'il n'y a des nombres non nuls que sur la diagonale

principale, c'est qu'aucun exemple n'est mal classé (bonne
classification).

MEESI/2024-2025 2
 Evaluation des modèles de classification

 La matrice de confusion

• L’accuracy est une métrique pour évaluer la performance des modèles de classification à 2
classes ou plus. L’accuracy peut être traduite par “précision” en français mais on risque alors de
la confondre avec la métrique Précision.

• L’accuracy permet de décrire la performance du modèle sur les individus positifs et négatifs de
façon symétrique. Elle mesure le taux de prédictions correctes sur l’ensemble des individus :

𝑇𝑃 + 𝑇𝑁
accuracy =
𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁

MEESI/2024-2025 3
 Evaluation des modèles de classification

• On peut définir aussi deux métriques , la précision et le rappel (recall) :

𝑇𝑃 La précision est intuitivement la capacité du classificateur à ne pas

𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 = étiqueter comme positif un échantillon négatif. La meilleure valeur
𝑇𝑃 + 𝐹𝑃
est 1 et la pire est 0.

𝑇𝑃 Le rappel est intuitivement la capacité du classificateur à trouver

𝑟𝑎𝑝𝑝𝑒𝑙 = tous les échantillons positifs. La meilleure valeur est 1 et la pire est
𝑇𝑃 + 𝐹𝑁
0.

• Il est toujours plus pratique de manipuler un seul nombre qui synthétise les autres. Ainsi la mesure -F
( F1-score) est définie par :
Il peut être interprété comme une moyenne pondérée de la
2 × 𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑎𝑝𝑝𝑒𝑙 précision et du rappel, un score F1 atteignant sa meilleure
F1−score =
𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑎𝑝𝑝𝑒𝑙 valeur à 1 et le pire score à 0. Les contributions relatives de la
précision et du rappel au score F1 sont égales.

MEESI/2024-2025 4
 Réseaux de Neurones Artificiels
(ANNs)

 C’est quoi?
Les réseaux de neurones artificiels sont des modèles d’apprentissage automatique, inspirés du
fonctionnement des neurones biologique.

MEESI/2024-2025 5
 Réseaux de Neurones Artificiels
(ANNs)
 Neurones
Les neurones sont des cellules excitables connectées les unes aux autres et ayant pour rôle de
transmettre des informations dans notre système nerveux.

Chaque neurone est composé de plusieurs dendrites, d’un corps cellulaire,

et d’un axone.
•Les dendrites jouent le rôle de portes d’entrée pour le neurone. C’est à cet
endroit, au niveau des synapses, que le neurone reçoit des signaux en
provenance des neurones qui le précèdent.
•Le corps cellulaire joue un rôle central dans le fonctionnement du neurone.
Il contient le noyau, qui gère l’activité globale du neurone, et intègre les
signaux reçus par les dendrites. Si la somme de ces signaux dépasse un
certain seuil, le corps cellulaire déclenche la génération d’un signal
électrique.
Ce signal se propage ensuite le long de l’axone, jusqu’aux terminaisons
Neurone biologique axonales, où il est transmis à d’autres neurones via leurs synapses. Ces
neurones recevront ce signal et fonctionneront selon le même principe.

MEESI/2024-2025 6
 Réseaux de Neurones Artificiels
(ANNs)

 Un neurone artificiel reçoit un certain nombre de données

en entrée. Pour chaque entrée, un poids synaptique (𝑤𝑖 ) lui
est associé, représentant la force de la connexion entre le
neurone et cette donnée.
 Le neurone calcule ensuite une somme pondérée de toutes
les entrées qui lui sont connectées, en y ajoutant un biais
(𝑤0 ) .
 Ensuite, une fonction d’activation (ou de transfert) est
appliquée à 𝑎. Cette fonction permet de transformer 𝑎 en
une valeur utilisable par le modèle, souvent dans une plage
définie (par exemple, entre 0 et 1 ou entre -1 et 1).
 Le neurone compare ensuite le résultat de la fonction
Neurone artificiel d’activation à une valeur seuil et produit une réponse en
sortie (par exemple, classe 0 ou classe 1).

MEESI/2024-2025 7
 Réseaux de Neurones Artificiels
(ANNs)
 Fonctions d’activation

Neurone artificiel

MEESI/2024-2025 8
 Réseaux de Neurones Artificiels
(ANNs)
 Perceptron

• Le perceptron est un modèle de neurone artificiel proposé par Frank Rosenblatt dans les années
1950. C'est l'un des premiers algorithmes d'apprentissage automatique.

• Un perceptron effectue une classification binaire en prenant plusieurs entrées, les pondérant, et en
appliquant une fonction d'activation (la fonction marche de Heaviside) pour produire une sortie.

𝑤 = 𝑤 + α 𝑦𝑡𝑟𝑢𝑒 − 𝑦 𝑋

𝑦𝑡𝑟𝑢𝑒 : sortie de référence

𝑦 : sortie produite par le neurone
𝑋 : entrée du neurone
α : vitesse d’apprentissage

MEESI/2024-2025 9
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple

𝑠𝑒𝑢𝑖𝑙: 0.1

MEESI/2024-2025 10
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple

𝑤 = 𝑤 + α 𝑦𝑡𝑟𝑢𝑒 − 𝑦 𝑋

𝑤1 = 0.1 + 0.1 × 1 × 0 = 0.1 α : 0.1

𝑤1 = 𝑤1 + α 𝑡 − 𝑦 𝑥1 →
𝑤2 = 𝑤2 + α 𝑡 − 𝑦 𝑥2 → 𝑤2 = 0.2 + 0.1 × 1 × 1 = 0.3
𝑤𝑏 = 𝑤𝑏 + α 𝑡 − 𝑦 𝑏𝑖𝑎𝑠 → 𝑤𝑏 = −0.2 + 0.1 × 1 × 1 = −0.1

MEESI/2024-2025 11
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple

MEESI/2024-2025 12
 Réseaux de Neurones Artificiels
(ANNs)

 Multi-Layer Perceptron (MLP)

Le MLP est une extension du perceptron qui utilise plusieurs couches de neurones. Il fait partie des réseaux de
neurones profonds.

MEESI/2024-2025 13
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple: Classification de voitures

• Features: Poids, Puissance et Âge; 3 entrées

• Classes: Economique: 1 , Non-Economique: 0 𝑤11 𝑩1
• ANN: 2 couches cachées de 2 neurones chacune
• Fonction d’activation: 𝑤12 𝑤31 𝑩3
 ReLU pour les couches cachées 𝑤13 𝑤32 𝑤51 𝑩5
Economique
 Sigmoid pour la couche de sortie 𝑤41 Non-Economique
𝑤52
𝑤21
𝑤22 𝑤42
𝑩𝟒
𝑤23
𝑩2

MEESI/2024-2025 14
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple: Classification de voitures
• Entrainement 𝑤1=[0.2,0.4,0.6]
𝑤10=0.1
0.68 𝑤3=[0.3,0.7]
𝑤11 𝑩1 𝑤30=0
𝑤5=[0.5,0.5]
𝑤12 𝑤31 𝑩3 𝑤50=0.1
𝑤13 𝑤32 𝑤51 𝑩5
Economique
0.65 𝑤41 Non-Economique
𝑤52
𝑤21
𝑤22 𝑤42
𝑩𝟒
𝑤23 𝑤4=[0.6,0.4]
0.5 𝑩2 𝑤40=-0.1
𝑤2=[0.5,0.3,0.9]
𝑤20=0.2

MEESI/2024-2025 15
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple: Classification de voitures
𝑤1=[0.2,0.4,0.6]
𝑤10=0.1 𝑅𝑒𝐿𝑈(0.2 × 0.68 + 0.4 × 0.65
0.68 𝑤11

𝑤12 𝑤31
𝑤13 𝑤32 𝑤51
Economique
0.65 𝑤41 Non-Economique
𝑤52
𝑤21
𝑤22 𝑤42
𝑤23
0.5 𝑩2

MEESI/2024-2025 16
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple: Classification de voitures

0.796
1.0683 𝑤5=[0.5,0.5]
𝑤50=0.1

𝑆𝑖𝑔𝑚𝑜𝑖𝑑(0.5 × 1.0683 + 0.5 × 0.8516

0.8516

1.185

MEESI/2024-2025 17
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple: Classification de voitures

𝑤11 𝑩1 𝑦𝑝𝑟𝑒𝑑

𝑤12 𝑤31 𝑩3 1
𝑤13 𝑤32 𝑤51 𝑩5 0
𝑤41 …
𝑤52
𝑤21 1
𝑤22 𝑤42
𝑩𝟒
𝑤23
𝑩2

Forward propagation

MEESI/2024-2025 18
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple: Classification de voitures

𝑤11 𝑩1 𝑦𝑝𝑟𝑒𝑑 𝑦
𝑤12 𝑤31 𝑩3 1 0
𝑤13 𝑤32 𝑤51 𝑩5 0 𝑙𝑜𝑠𝑠 1
𝑤41
𝑤52 …
− …
𝑤21 1 1
𝑤22 𝑤42
𝑩𝟒
𝑤23
𝑩2

𝜕𝑙𝑜𝑠𝑠 Back propagation

𝑤𝑖 = 𝑤î − α Rétropropagation
𝜕𝑤𝑖

MEESI/2024-2025 19
 Réseaux de Neurones Artificiels
(ANNs)
 Exemple: Classification de voitures

• Test
𝑤11 𝑩1
𝑤𝑖 optimaux
𝑤12 𝑤31 𝑩3
𝑤13 𝑤32 𝑤51 𝑩5
𝑤41
𝑤52
𝑤21
𝑤22 𝑤42
𝑩𝟒
𝑤23
𝑩2

MEESI/2024-2025 20
 Méthodes ensemblistes
Ensemble Learning
• Les méthodes ensemblistes sont des méthodes qui consistent à combiner plusieurs modèles afin de
pouvoir générer un nouveau modèle qui soit potentiellement plus performant mais aussi plus
robuste.

En regroupant nos modèles tous

ensemble, on obtient une meilleure
performance que lorsqu'on utilise nos
modèles chacun de leur côté

MEESI/2024-2025 21
 Méthodes ensemblistes
Ensemble Learning

• Les techniques de l’ensemble learning:

 Voting (Améliorer la prédiction)
 Bagging (Réduire la variance)
 Boosting (Réduire le biais)
 Stacking (Améliorer la performance)

MEESI/2024-2025 22
 Méthodes ensemblistes
Ensemble Learning

 Voting
Les méthodes de vote sont des approches simples d'agrégation et sont efficace pour agréger les prédictions de
plusieurs modèles de base.

Nous avons généralement trois techniques de vote :

 Majoritaire
 Moyen
 Pondéré

MEESI/2024-2025 23
 Méthodes ensemblistes
Ensemble Learning

 Bagging (bootstrap aggregating )

C’est un ensemble d’algorithmes similaires qui sont chacun entraînés sur un sous-dataset.
L’idée c’est de séparer aléatoirement le dataset en plusieurs sous-datasets (bootstrap).

MEESI/2024-2025 24
 Méthodes ensemblistes
Ensemble Learning
 Boosting
• Le boosting est une méthode où plusieurs modèles faibles (AD) sont entraînés séquentiellement. Chaque
modèle corrige les erreurs du modèle précédent.
• À chaque itération, plus d'importance est donnée
aux exemples mal classés pour améliorer leur prédiction.
• Les modèles sont ensuite pondéré dans la prédiction finale en
fonction de leur performance
Algorithmes de Boosting Populaires:
 AdaBoost (Adaptive Boosting)
 Gradient Boosting
 XGBoost (Extreme Gradient Boosting)

Différence avec Bagging :

Bagging (ex. Random Forest) : les modèles sont entraînés
en parallèle sur des sous-échantillons différents du jeu de données.
Boosting : les modèles sont entraînés séquentiellement,
chaque modèle étant influencé par les erreurs des précédents.
MEESI/2024-2025 25
 Méthodes ensemblistes
Ensemble Learning
 Stacking
Le stacking est une méthode d’ensemble qui combine plusieurs modèles de base pour améliorer les
performances en utilisant un méta-modèle.
Fonctionnement général
 Modèles de base (level-0 models) :
 Plusieurs modèles sont entraînés sur le même
jeu de données (ou des sous-échantillons).
 Chaque modèle produit des prédictions sur les
données de validation.
 Création des nouvelles caractéristiques :
 Les prédictions des modèles de base sont utilisées comme caractéristiques (features) pour le méta-
modèle.
 Méta-modèle (level-1 model) :
 Un nouveau modèle est entraîné sur les prédictions des modèles de base.
 Il apprend à pondérer et combiner les prédictions pour améliorer les résultats.
MEESI/2024-2025 26
 Types d’apprentissage (Rappel)

• Supervisé
- Nous avons la paire
< entrée, sortie désirée>

• Non-Supervisé
- Nous avons seulement les entrées.
- Les exemples sont sans étiquette.

• Problème
- Notre intérêt est de découvrir l’organisation des données
- Découvrir les similitudes et les différences entre les données et
d’en tirer des conclusions utiles (trouver des groupes cohérents)

MEESI/2024-2025 27
 Apprentissage Non-Supervisé

 Regroupement (Clustering)

MEESI/2024-2025 28
 Apprentissage Non-Supervisé

 Regroupement (Clustering)
 Le principe du clustering est d’analyser les différentes variables X qui caractérisent nos données, afin
de regrouper les points en clusters, sans pour autant connaître la nature de ces points.

 Des exemples :
• Classer des images ou des objets selon leur ressemblance
• Segmenter une base de données de clients, selon leurs habitudes de consommation
• Regrouper des documents selon leur contenu.
• etc.

 De nombreux algorithmes permettent de réaliser du clustering :

• Le K-Means Clustering
• Le Clustering hiérarchique
• GMM
• DBSCAN
• etc.
MEESI/2024-2025 29
 L’algorithme de K-Means

 Fonctionnement
 Le K-Means est un algorithme itératif, dans lequel on demande à notre machine de trouver un
nombre K de clusters au sein de notre jeu de données. Pour cela, elle place au hasard K points dans
l’espace, puis déplace ces points pour qu’ils deviennent les barycentres de nos clusters.

 Prenons un exemple avec K=3 clusters

Pour commencer, on place trois points

aléatoires au sein de nos données. Ces
points sont appelés centroïdes.

MEESI/2024-2025 30
 L’algorithme de K-Means

 Fonctionnement

Ensuite, on associe chaque point de notre Ensuite, on déplace chaque centroïde au centre de
jeu de données au centroïde dont il est le son groupe, ce qui explique son nom de ”centroïde”.
plus proche, en calculant la distance Pour ce faire, on calcule la moyenne des points du
euclidienne cluster, et cette moyenne depuis la nouvelle position
du centroïde, d’où le nom de ”K-Means”.
MEESI/2024-2025 31
 L’algorithme de K-Means

 Fonctionnement

Nous réassignons chaque point à son Puis on déplace chaque centroïde au centre de son groupe.
centroïde le plus proche (notez bien que
cela produit des résultats différents de
ceux de la première itération!).
MEESI/2024-2025 32
 L’algorithme de K-Means

 Fonctionnement

 K-means est un algorithme itératif qui

fonctionne en 2 étapes:

1. Affectation des points au centre le plus proche

2. Déplacement du centre à la moyenne du cluster

Et cet algorithme se répète ainsi jusqu’à

ce que les centroïdes ne bougent plus.
C’est alors que l’algorithme se termine.

MEESI/2024-2025 33
 L’algorithme de K-Means

 Choix de K

K=3 Difficile de voir un nombre de clusters à l’œil

→ Comment déterminer K?

MEESI/2024-2025 34
 L’algorithme de K-Means

 Choix de K avec la méthode du coude

La méthode du coude (Elbow method) consiste à tester différentes valeurs de K pour l’algorithme du K-
Means, en mesurant à chaque fois la fonction coût ‘inertia’ : la somme des distances euclidiennes entre
chaque point et son centroïde associé, puis en traçant sur un graphique l’évolution de ce coût en fonction
de K pour identifier une forme de coude dans le graphique.

MEESI/2024-2025 35
 L’algorithme de K-Means

 Exemple: Segmentation d’images nombre de couleurs = nombre de clusters K

MEESI/2024-2025 36
 Le Clustering hiérarchique
Regroupement hiérarchique
 Principe:

 Former une structure hiérarchique des données allant de n groupes à 1 groupe. Les
données ne sont donc pas partitionnées en une seule étape.

 On distingue les méthodes:

• Agglomératif (ascendante) : série de fusions de n à 1 groupes
• Divisif (descendante) : série de divisions de 1 à n groupes

 Le résultat de regroupement est représenté graphiquement

sous la forme d’un dendrogramme.
 Les fusions (ou divisions) sont effectuées successivement selon une mesure
de similarité entre clusters. On parle également de lien

MEESI/2024-2025 37
 Le Clustering hiérarchique
Regroupement hiérarchique
 Liens usuels

 Lien simple ( : single linkage) : distance du plus proche voisin

 Lien complet ( : complete linkage) : distance du diamètre maximum
 Lien moyen ( : average / group-average linkage) : distance moyenne
 Lien entre centroîdes ( : centroid linkage) : distance entre barycentres
 Lien de Ward ( : Ward’s linkage) : distance de Ward.

Rem:
 Ces liens conduisent (typiquement) à des hiérarchies différentes

MEESI/2024-2025 38
 Le Clustering hiérarchique
Regroupement hiérarchique
 Exemple: Construction par agglomération

A B C D E F G H
A 0
B 0.5 0
C 0.25 0.56 0
D 5 4.72 4.8 0
E 5.78 5.55 5.57 1 0
F 4.32 4.23 4.07 2.01 2.06 0
G 4.92 4.84 4.68 2.06 1.81 0.61 0
H 5 5.02 4.75 3.16 2.9 1.28 1.12 0

Dendrogramme Matrice de distance

MEESI/2024-2025 39
 Le Clustering hiérarchique
Regroupement hiérarchique
 Exemple: Construction par agglomération A B C D E F G H
A 0
B 0.5 0
C 0.25 0.56 0
D 5 4.72 4.8 0
E 5.78 5.55 5.57 1 0
F 4.32 4.23 4.07 2.01 2.06 0
G 4.92 4.84 4.68 2.06 1.81 0.61 0
H 5 5.02 4.75 3.16 2.9 1.28 1.12 0

AC B D E F G H
AC 0
0.25
B 0.5 0
D 4.8 4.72 0
E 5.57 5.55 1 0
F 4.07 4.23 2.01 2.06 0
G 4.68 4.84 2.06 1.81 0.61 0
H 4.75 5.02 3.16 2.9 1.28 1.12 0
MEESI/2024-2025 40
 Le Clustering hiérarchique
Regroupement hiérarchique
 Exemple: Construction par agglomération AC B D E F G H
AC 0
B 0.5 0
D 4.8 4.72 0
E 5.57 5.55 1 0
F 4.07 4.23 2.01 2.06 0
G 4.68 4.84 2.06 1.81 0.61 0
H 4.75 5.02 3.16 2.9 1.28 1.12 0

ACB D E F G H
ACB 0
D 4.72 0
0.5 E 5.55 1 0
F 4.07 2.01 2.06 0
G 4.68 2.06 1.81 0.61 0
H 4.75 3.16 2.9 1.28 1.12 0

MEESI/2024-2025 41
 Le Clustering hiérarchique
Regroupement hiérarchique
 Exemple: Construction par agglomération
ACB D E F G H
ACB 0
D 4.72 0
E 5.55 1 0
F 4.07 2.01 2.06 0
G 4.68 2.06 1.81 0.61 0
H 4.75 3.16 2.9 1.28 1.12 0

ACB D E FG H
ACB 0
D 4.72 0
E 5.55 1 0
0.61
FG 4.07 2.01 1.81 0
H 4.75 3.16 2.9 1.12 0

MEESI/2024-2025 42
 Le Clustering hiérarchique
Regroupement hiérarchique
ACB DEFGH
 Exemple: Construction par agglomération ACB 0
DEFGH 4.07 0
ACB D E FG H
ACB 0
D 4.72 0
E 5.55 1 0
FG 4.07 2.01 1.81 0
H 4.75 3.16 2.9 1.12 0

ACB DE FG H
ACB 0
DE 4.72 0
FG 4.07 1.81 0
H 4.75 2.9 1.12 0

ACB DE FGH
ACB 0
DE 4.72 0
FGH 4.07 1.81 0

MEESI/2024-2025 43
 Le Clustering hiérarchique
Regroupement hiérarchique
ACB DEFGH
 Exemple: Construction par agglomération ACB 0
DEFGH 4.07 0
ACB D E FG H
ACB 0
D 4.72 0
E 5.55 1 0
FG 4.07 2.01 1.81 0
H 4.75 3.16 2.9 1.12 0

ACB DE FG H
ACB 0
DE 4.72 0
FG 4.07 1.81 0
H 4.75 2.9 1.12 0

ACB DE FGH
ACB 0
DE 4.72 0
FGH 4.07 1.81 0

MEESI/2024-2025 44
 Le Clustering hiérarchique
Regroupement hiérarchique
 Exemple: Construction par agglomération

En définissant un niveau de
coupure, on construit une
partition

MEESI/2024-2025 45
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes
 Dans de nombreuses applications d'ingénierie, comme le traitement du signal, les communications,
l'apprentissage automatique et d'autres domaines, nous utilisons la distribution gaussienne pour représenter la
distribution des données. Cela signifie qu'une distribution particulière de données peut être approximée par une
distribution gaussienne. Cette approche présente de nombreux avantages:

 Proximité avec la distribution naturelle : La distribution gaussienne est souvent très proche des distributions
naturelles observées dans de nombreux phénomènes. Cela la rend particulièrement utile pour modéliser des
données réelles.

 Facilité de manipulation mathématique : Les fonctions gaussiennes sont faciles à manipuler sur le plan
mathématique. Par exemple, il est simple de déterminer la dérivée d'une fonction gaussienne, même d'ordre
supérieur. Cela est bénéfique dans des applications nécessitant des calculs dérivés.

 Dans le cas de jeux de données complexes, il n'est souvent pas possible de représenter ces données avec une
seule distribution gaussienne. Une seule gaussienne peut ne pas capturer la variabilité et la structure des
données. Donc, il est nécessaire d'utiliser un mélange de plusieurs distributions gaussiennes où chacune
représente un segment différent de la distribution des données.

MEESI/2024-2025 46
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes

 Distribution gaussienne en 1D
𝑥1 + 𝑥2 + ⋯ + 𝑥𝑛𝑏
𝜇𝑏 =
𝑛𝑏
• Observations x1… xn
2
(𝑥1 − 𝜇1 )2 + ⋯ + (𝑥𝑛 − 𝜇𝑛 )2
𝜎𝑏 =
- K=2 Gaussiennes avec des 𝜇 𝑒𝑡 𝜎 2 inconnus 𝑛𝑏
- Estimation triviale des paramètres si nous
connaissons la source de chaque observation

• Si nous ne savons pas la source?

• Si nous connaissions les paramètres (𝜇 , 𝜎 2 )
- nous pourrions deviner si un point est plus
susceptible d'être a ou b.
𝑃 𝑥𝑖 ∣𝑏 𝑃(𝑏)
𝑃(𝑏∣𝑥𝑖 ) =
𝑃 𝑥𝑖 ∣𝑏 𝑃 𝑏 + 𝑃 𝑥𝑖 ∣𝑎 𝑃(𝑎)

1 (𝑥𝑖 −𝜇𝑏 )2
𝑃 𝑥𝑖 ∣𝑏 = exp(− 2𝜎2 ) la loi Gaussienne
2𝜋𝜎 2 𝑏

MEESI/2024-2025 47
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes

K-Means GMM

MEESI/2024-2025 48
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes

 Distribution gaussienne multivariée en d dimensions

• On définit la loi Gaussienne multivariée par:

1 1
𝒩 x∣𝜇, Σ = 𝑑 1 exp − x − 𝜇 𝑇 Σ−1 (x − 𝜇)
2
(2𝜋) 2 Σ 2

• 𝚺 la matrice de covariance de dimension d × d dont les entrées sont définies par: 𝚺𝑖,𝑗 = 𝑐𝑜𝑣(𝑥𝑖 , 𝑥𝑗 ).
• 𝜇 = (𝜇1 , 𝜇2 , · · · , 𝜇𝐾 ) et x = (𝑥1 , 𝑥2 , · · · , 𝑥𝑑 )

MEESI/2024-2025 49
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes
• Le modèle de mélange de gaussien (GMM) consiste à supposer que la distribution des données peut
être décrite comme une somme pondérée de densités gaussiennes. Chaque gaussienne du modèle est
caractérisée par son poids (les coefficients du mélange), son vecteur moyenne et sa matrice de
covariance, il est défini comme suit:

𝑃 x = 𝜋1 𝒩 x∣𝜇1 , Σ1 +𝜋2 𝒩 x∣𝜇2 , Σ2 +….+𝜋𝑘 𝒩 x∣𝜇𝑘 , Σ𝑘

𝐾
= 𝑘=1 𝜋𝑘 𝒩 x∣𝜇𝑘 , Σ𝑘
𝐾
Avec: 𝑘=1 𝜋𝑘 = 1 𝑒𝑡 0 ≤ 𝜋𝑘 ≤ 1

MEESI/2024-2025 50
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes

• Nous pouvons considérer les coefficients de mélange comme des probabilités a priori pour les composants.
• Pour une valeur donnée de 'x', nous pouvons évaluer la probabilité a posteriori correspondante càd la
probabilité que l’observation 'x' soit dans le groupe 𝑘. À partir de la règle de Bayes on a :

𝑃(𝑘)𝑃 x∣𝑘 𝜋𝑘 𝒩 x∣𝜇𝑘 , Σ𝑘

𝑃(𝑘∣x) = = 𝐾
𝑃 x 𝑘=1 𝜋𝑘 𝒩 x∣𝜇𝑘 , Σ𝑘
On dénotera cette probabilité 𝑃(𝑘∣x) par : 𝛾𝑘 (x)
• Estimation des paramètres: on utilise le maximum de vraisemblance
Pour une séquence de N vecteurs d’apprentissage x = x1 , x2 , … , xN supposées indépendantes et identiquement
distribuées, la fonction de Log-vraisemblance est définie comme : 𝑁

log 𝑃 x ∣𝜇𝑘 , Σ𝑘 , 𝜋𝑘 = 𝑙𝑜𝑔 𝑃 x𝑖 ∣𝜇𝑘 , Σ𝑘 , 𝜋𝑘

Maximisation directe de la vraisemblance est difficile: 𝑖=1
𝑁 𝐾
La dérivée de la log-vraisemblance donne des
expressions complexes qui peuvent être difficiles à = 𝑙𝑜𝑔 𝜋𝑘 𝒩 x𝑖 ∣𝜇𝑘 , Σ𝑘
résoudre analytiquement. → une approche itérative 𝑖=1 𝑘=1
MEESI/2024-2025 51
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes

 L’algorithme EM (Expectation - Maximization)

• EM: Algorithme itératif pour estimer les paramètres d’un GMM.

1. Initialisation : choix d’un mélange de départ (𝜋𝑘 , 𝜇𝑘 𝑒𝑡 Σ𝑘 ).

2. E step : Pour chaque donné x𝑖 , calculer la probabilité que x𝑖 soit dans le groupe 𝑘 : 𝛾𝑘 (x𝑖 )

3. M step : Pour chaque groupe 𝑘, réestimer ses paramètres comme suit:

𝑁 𝑁 𝑇 𝑁
𝑖=1 𝛾𝑘 (x 𝑖 )x 𝑖 𝑖=1 𝛾𝑘 (x 𝑖 ) (x 𝑖 − 𝜇𝑘 ) x𝑖 − 𝜇𝑘 1
𝜇𝑘 = 𝑁
Σ𝑘 = 𝑁 𝜋𝑘 = 𝛾𝑘 (x𝑖 )
𝑖=1 𝛾𝑘 (x 𝑖 ) 𝑖=1 𝛾𝑘 (x 𝑖 ) 𝑁
𝑖=1

4. On répète les étapes 2 et 3 jusqu’à la convergence de l’algorithme EM.

MEESI/2024-2025 52
 Gaussian Mixture Model (GMM)
Mélange de distributions Gaussiennes

 Choix de K

• Choisir la valeur de K qui maximise la log-vraisemblance.

• Cependant, on peut définir un critère pour sélectionner K c’est le Critère d'Akaike (AIC, pour Akaike
Information Criterion). Akaike (1974) a défini un tel critère comme suit:

𝐴𝐼𝐶 = 2𝑘 − 2𝐿
avec: 𝑘 est le nombre de paramètres estimés dans le modèle.
𝐿 est la log-vraisemblance maximale du modèle

→ Un AIC plus bas indique un meilleur équilibre entre la complexité du modèle et sa capacité à
expliquer les données

MEESI/2024-2025 53