ANALYSE DE DONNÉES
Analyse Factorielle Discriminante
JAOUAD DABOUNOU
FST of Settat
Hassan 1st University
Centre CLIK-Kénitra
Analyse Factorielle Discriminante
I. Introduction
L’Analyse Factorielle Discriminante (AFD), en anglais : Linear Discriminant Analysis (LDA), est très
utilisée pour réduire la dimensionnalité dans les données, par exemple, avant de procéder à la
classification. Elle est utilisée pour trouver une combinaison d’attributs qui caractérisent ou
différencient les données, permettant en même temps de passer dans un espace de dimension
inférieure. AFD est une approche supervisée, ce qui veut dire qu’elle s’appuie sur une
classification antérieure des données. Ceci n’est pas le cas notamment pour l’ACP qui est une
méthode d’apprentissage non supervisée.
D’ailleurs, l’ACP a pour objectif de trouver les axes orthogonaux qui maximisent la variance de
l’ensemble des données. Ici, l’AFD a pour objectif de trouver le sous espaces qui optimise la
séparabilité de classes en maximisant le rapport de la variance interclasse par rapport à la
variance intra-classe.
J. DABOUNOU - FST DE SETTAT 201
Analyse Factorielle Discriminante
Approche de l’AFD
G G1 G2 G3 E1 G1 E2 G2 E3 G3
1
E1 G1
E2 G2 j - - -
X=
E3 G3 J
1
1
x kj x ij
I k i Ek
C1t C2t C 3t
xj
I i
x ij
s : Valeurs propres de V-1B
1
G Ik Gk
I k 1,m
G1 G G2 G G3 G
ut Bu 1 2 3 4 5 6 r
1
arg max t
V = Xct . Xc 𝐮 u Wu
j - - -
B Mt . P . M V=B+W
J
M1 t M2 t M3 t W C t . Ck
k
ut Bu
arg max t
k 1,m u1 u2 u3 u4 u5 u6 ur
t 𝐮 u Vu
M P=diag(I1,I2,I3) Espace de dimension réduite
us : Vecteur propre associé à s
J. DABOUNOU - FST DE SETTAT 202
Analyse Factorielle Discriminante
Approche de l’AFD
1 2 3 4 5 6 r
U= Projection des données : Xc . U
u1 u2 u3 u4 u5 u6 ur
Espace de dimension réduite
J. DABOUNOU - FST DE SETTAT 203
Exemple d’application de l’AFD
Exemple : On considère la matrice X ci-dessous avec 11 individus et deux classes.
X1 X2 X1 X2
Y
X1 X2 2 2 1
1 1 1 0
1 1 1 7 3 3
2 2 1 1
3 2 2 8 3 2
3 2 2 0 Classe E2
Classe E1 4 2 3 9 4 3
4 2 3 0
5 1 3 10 4 1
X= 5 1 3 0
6 1 4 0 6 1 4 11 3 1
7 3 3 1 G1 1,40 2,60 G2 3,17 1,83
8 3 2 1
9 4 3 1
10 4 1 1
11 3 1 1
G 2,36 2,18
On obtient le graphique :
J. DABOUNOU - FST DE SETTAT 204
Exemple d’application de l’AFD
Exemple :
On centre les données :
X1 X2
-1,36 -1,18
1 2
X1 X2
-0,36 -0,18 X X -1,17 -0,83
-0,36 0,82 -0,40 -1,60 -0,17 1,17
Classe E1 0,60 -0,60
-1,36 0,82 Classe E2 -0,17 0,17
-1,36 1,82 0,60 0,40 0,83 1,17
-0,36 -1,18 -0,40 0,40 0,83 -0,83
0,64 0,82 -0,40 1,40 -0,17 -0,83
0,64 -0,18
1,64 0,82
1,64 -1,18
0,64 -1,18
On obtient le graphique :
J. DABOUNOU - FST DE SETTAT 205
Matrices de variance covariance totale
et de covariance intraclasses
Matrice de variance covariance totale
On a
V = Xct . Xc
Ce qui permet d’obtenir
12,55 -2,73
V= -2,73 11,64
Matrice de covariance intraclasses
On a
W C t . Ck
k
k 1,m
Donc
1,2 -0,2 2,83 1,17
V1 = C1t . C1 = -0,2 5,2
et V2 = C2t . C2 = 1,17 4,83
Or W = V1 + V2.
Ainsi 4,03 0,97
W= 0,97 10,03
J. DABOUNOU - FST DE SETTAT 206
Matrice de covariance interclasses
Matrice de covariance interclasses
On a
G1-G G2-G
Mt = -0,96 0,80
0,42 -0,35
et B Mt . P . M
-0,96 0,80 5 0 -0,96 0,418
C’est à dire B= 0,42 -0,35 0 6 0,803 -0,35
Donc
8,51 -3,69
B= -3,69 1,60
On vérifie que l’on a
V = B+ W
En effet
12,55 -2,73 8,51 -3,69 4,03 0,97
-2,73 11,64
= -3,69 1,60
+ 0,97 10,03
J. DABOUNOU - FST DE SETTAT 207
Valeurs et vecteurs propres
Calcul de V-1 B
0,642 -0,28
V-1 B = -0,17 0,072
Valeurs propres
1 = 0,71
2 = 0
Vecteurs propres associés:
u1 = 0,968
-0,25
0,398
u2 = 0,917
J. DABOUNOU - FST DE SETTAT 208
Axes, facteurs et variables discriminantes
Projection du nuage de points sur la droite qui passe par G et de direction u1. Points obtenus en
calculant Xc.u1.
Projection du nuage de points sur la droite qui passe par G et de direction u2 . Points obtenus en
calculant Xc.u2.
J. DABOUNOU - FST DE SETTAT 209