Analyse de données Multivariées IMSP, Bénin
Analyse de données Multivariées
IMSP, Bénin
Sophie Dabo-Niang
[Link]@[Link]
Analyse de données Multivariées IMSP, Bénin
Présentation du cours
Ce cours d’analyse de données
vise à donner aux étudiants les bases théoriques et pratiques de l’analyse des données.
Analyse de données Multivariées IMSP, Bénin
Le contenu du cours est :
Introduction à l’analyse de données
L’analyse en composantes principales : ACP
L’analyse factorielle des correspondances simples : AFC
L’analyse factorielle des correspondances multiples : AFCM
L’analyse factorielle discriminante : AFD
La classification
Complément : ACP sur matrices de distances
Pour aller plus loin : Analyse factorielle
sur des tableaux de distance et de
dissimilarité
Complément : ACP sur matrices de distances
Pour aller plus loin : Analyse factorielle sur des tableaux de distance et de
dissimilarité : MDS (Multidimensional Scaling)
Les données initiales sont les distances deux à deux entre les individus et non les
variables les décrivant
On dispose des n(n − 1)/2 distances ou dissimilarités entre n individus
L’analyse factiorelle sur ces tableaux a le même objectif que l’ACP
Le cas de distances euclidiennes est une version de l’ACP.
Complément : ACP sur matrices de distances
Analyse d’un tableau de distances euclidiennes
Soit un tableau individus-variables X à n lignes et p colonnes. Une variable notée ξj
est identifiée à la j−ìeme colonne de X . On note xij la valeur de la variable ξj
observée sur l’individu xi . On suppose que les variables sont centrées. Soit D la
matrice diagonale des poids pi , i = 1, ..., n. On munit Rp d’une métrique M ;
kx k = x > Mx , x ∈ Rp . Soit D = (d 2 (i, j) = dij2 )i,j=1,...,n la matrice n × n des carrés
des distances entre les n individus (dij est la distance entre deux individus xi et xj ,
dii = 0, d une distance euclidienne)
dij2 = (xi − xj )> M(xi − xj ) = kxi − xj k2M
Supposons par soucis de simplicité que pi = 1/n et que M = In sinon on peut se
ramener à l’identité par une transformation P telle que I = P > P
Notons g le centre de gravité du nuage des points, Ig l’inertie et S la matrice de
variance-covariance.
Complément : ACP sur matrices de distances
Pour aller plus loin : Analyse factorielle sur des tableaux de distance et de
dissimilarité
En prenant l’origine comme le centre de gravité, notons W = (wij =< xi , xj >)i,j la
matrice des produits scalaires et
Pn 2 Pn 2 Pn 2
j=1 dij i=1 dij i=1 di.
di.2 = , d.j2 = , d..2 = = 2Ig .
n n n
La distance d(., .) est euclidienne si W a toutes ses valeurs propres positives ou nulles.
Rang W < n − 1, les n points sont dans un espace de dimension au plus n − 1.
W = − 21 ADA avec A = In − 1n 1> n /n l’opérateur de double centrage
Complément : ACP sur matrices de distances
Pour aller plus loin : Analyse factorielle sur des tableaux de distance et de
dissimilarité
Formule de Torgerson
(dij2 − di.2 − d.j2 + d..2 )
wij = − .
2
Notons que
(dij2 − kxi k2 − kxj k2 )
dij2 = kxi k2 + kxj k2 − 2wij , donc wij = −
2
Pn Pn
et j=1 wij =< xi , j=1 xj >= 0, impliquant
di.2 = kxi k2 + Ig ,
d’ où le résultat
Complément : ACP sur matrices de distances
Les composantes principales de l’ACP du nuage sont vecteurs propres de WD
Soient (uk )k=1,...,q les q premiers axes principaux normés de l’ACP du nuage avec les
valeurs propres correspondants λk . Soient ck les composantes principales associées,
on a alors
XMSMuk = XM(X > DX )Muk = WDck = λk ck
car
W = XMX > et ck = XMuk
Les composantes principales de l’ACP du nuage de points de X sont des vecteurs
propres de WD.
Complément : ACP sur matrices de distances
Les composantes principales de l’ACP du nuage sont vecteurs propres de WD
√
Soient fk tel que fik = pi cik , i = 1, ..., n, c-à-dire fk = D 1/2 ck .
On a alors WDck = λk ck , implique D 1/2 WD 1/2 D 1/2 ck = λk D 1/2 ck , d’où
D 1/2 WD 1/2 fk = WDfk = λk fk
De plus kfk k2 = ni=1 pi cik2 = λk et pour k 6= l ni=1 fik fil = 0.
P P
√
Le vecteur fk = D 1/2 1n = ( pi )i=1,...,n correspond à une valeur propre nulle :
WDfk = 0,
Pn
car j=1 wij = 0, i = 1, ..., n
Complément : ACP sur matrices de distances
ACP sur les distances
Connaissant seulement les distances entre les individus, on peut calculer les
composantes principales de l’ACP du nuage de points de X (en diagonalisant par
exemple WD) et faire une représentation euclidienne du nuage des individus dans un
espace de dimension fixée (égale au rang de W ).
Complément : ACP sur matrices de distances
Distance non euclidienne
Transformation en une distance euclidienne
Si d(., .) n’est pas euclidienne (en particulier quand W a des valeurs propres
négatives) on peut créer des distances euclidiennes à partir des dij via par la méthode
ususelle dite de constante additive qui permet de déduire des distances euclidiennes.
En effet il existe une constante c telle que
δij = dij2 + c 2 , δii = 0,
soit euclidienne.
La matrice de distance Wδ correspondante est alors Wδ = W + Wc
Complément : ACP sur matrices de distances
Distance non euclidienne
0 c2 . . . c2 . . . c2
c2 0 . . . c2 . . . c2
.. .. .. ..
1 . . ... . ... .
Wc = − A A
2 c c22 ... 0 ... c 2
.. .. . .
. . . .. . . . ..
. .
c2 c2 . . . c2 . . . 0
Puisque A = A2 et A = In − 1n 1>
n /n on a
1 > 1 c2
Wc = − 2 Ac (1n 1n − In )A = − 2 Ac 2 ((n − 1)In − nA)A =
2
2 A.
Complément : ACP sur matrices de distances
Distance non euclidienne
Ainsi les vecteurs propres (centrés) des valeurs propres non nulles de W sont
2
également vecteurs propres de Wc avec des valeurs propres c2 .
On fait correspondre aux vecteurs propres de W (de valeurs propres λk ) ceux de
2
Wδ dont les valeurs propres sont λk + c2
Il suffit de prendre c 2 = 2|λn | où λn est la plus petite valeur propre (négative) de
W pour que δ soit négative
Une autre méthode consiste à ajouter la constante égale à la plus grande valeur
propre de la matrice carrée de taille 2n
!
0 2W
Wc =
−In −4W1/2
où W1/2 est la matrice de Torgerson (voir la formule de Torgerson ci-dessus) où
les carrées des distances sont remplacées par les distances
Complément : ACP sur matrices de distances
Matrice de similarité
Matrice de similarité
Une matrice carrée C = (cij )ij de taille n est appelée matrice de similarité si elle est
symétrique et si cij ≤ cjj , ∀i, j
Si seule une matrice de similarité C est disponible, on peut la transformer en
matrice de distance via
dij = (cii + cjj − 2cij )−1/2
Puis on transforme la matrice de distances obtenue en euclidienne
Complément : ACP sur matrices de distances
Plus généralement
Decomposition en valeurs singulière généralisée : DVSG
La DVSG de X avec les métriques D sur Rn (l’espace des variables) et M sur Rp
(l’espace des individus) donne la décomposition X = VΛU> avec
√ √
Λ = diag( λ1 , ..., λq ) la matrice diagonale des valeurs singulières de XMX > D
et X > DXM = SM, avec q le rang X ,
V est la matrice n × q des q vecteurs propres de XMX > D avec V> DV = I
U est la matrice p × q des q vecteurs propres de X > DXM avec U> MU = I.
Soit C la matrice des coordonnées des projections des n individus de X sur ces q
axes, on a alors
C = XMU = VΛ