2ème MR.
RISC ISTIC
Réduction de dimensionnalité
• Exemples de méthodes utilisées
– L’analyse en composantes principales (ACP)
• Adaptée à des observations décrites par des variables
quantitatives.
– Trois variantes : ACP générale, ACP centrée, ACP normée
– L’analyse des correspondances binaires (AFCB)
• ou multiples (ACM)
• Adaptée à des observations décrites par des variables
nominales (à modalités).
– L’analyse factorielle discriminante (AFD),
• Adaptée à des observations décrites par des variables
quantitatives et appartenant à plusieurs classes.
127
L’analyse en composantes principales
(ACP)
128
Asma Najjar
2ème [Link] ISTIC
ACP
• Introduite par Hotelling en 1933
• C’est une méthode d’analyse exploratoire des
données
• Permet d’explorer :
– Les liaisons entre variables
– Les ressemblances entre individus
• Essayer de "condenser" la représentation des
données en conservant au mieux leur organisation
globale.
129
ACP
• On possède d’une matrice X qui représente un
ensemble D de N observations caractérisées par d
variables quantitatives initiales.
Les variables
1 j d
1
X11 …. X1j …. X1d
Les Observations
2
X 21 X 2d
….
i
X i1 X ij X id
….
N X N1 X Nd 130
Asma Najjar
2ème [Link] ISTIC
ACP
• Analyse des observations vs analyse des variables
131
ACP
• Analyse des observations On intéresse aux lignes
de la matrice
– On souhaite représenter les données sur m nouvelles
variables : les composantes principales avec m<d.
• Restitue fidèlement la forme générale du nuage
• Garantir la meilleure représentation de la diversité
Les nouvelles variables doivent conserver le plus de
variance possible.
• Les nouvelles variables doivent être discriminatives
Ne perturbe pas les distances entres les observations
Exemple : photo d’un animal 3D
132
Asma Najjar
2ème [Link] ISTIC
ACP
• Différentes étapes de l’ACP :
1. Normalisation des variables (facultatif)
• Centrer et réduire les données.
2. Trouver les nouvelles variables
• Calculer les composantes principales
3. Décrire les données d’origine en utilisant les
nouvelles variables
133
ACP
1. Normalisation des variables
– Les variables quantitatives
• Sont différentes (par ex. distances, poids, durées, etc.)
• Présentent des intervalles de variation très différents
et des unités différentes.
Pour accorder la même importance à toutes les
variables , elles doivent être "centrées" et "réduites"
134
Asma Najjar
2ème [Link] ISTIC
ACP
1. Normalisation des variables
– Obtenir des variables "centrées"
• La moyenne de chaque variable (moyenne sur une
colonne de toutes les observations) est soustraite de la
valeur de cette variable , pour chaque observation.
( X ij ) c X ij j
• Obtenir une moyenne nulle pour chaque variable
(colonne)
135
ACP
1. Normalisation des variables
– Obtenir des variables "centrés" et "réduites"
• Diviser, pour chaque observation centrés , la valeur de
cette variable par son écart-type.
( X ij ) c X i
j j
( X i ) cr
j
j j
• Obtenir une variance = 1 pour chaque variable
136
Asma Najjar
2ème [Link] ISTIC
ACP
2. Trouver les m nouvelles variables Trouver les m
composantes principales
a. Déterminer la matrice de covariance Σ
• Σ informe sur les corrélations ou anti-corrélations entre
les variables
N
12 cov1,2 cov1,d cova,b wi ( xia a ) (xib b )
i 1 N
cov 22 vara a2 wi (xia a )
2,1
i 1
2
Puisque les variables sont centrées - réduites et
covd,1 covd, 2 d wi= 1/N on obtient :
1 N a b 1 N a
cova,b xi xi
N i1
vara a2 xi
N i 1
137
ACP
2. Trouver les m nouvelles variables Trouver les m
composantes principales
a. Calcul des valeurs propres de Σ
• Résoudre l’équation suivante : (trouver les λj)
det( I ) 0
on obtient d valeurs propres
b. Calcul des vecteurs propres de Σ
• Résoudre l’équation suivante : (trouver les ej)
e j j e j
On obtient d vecteurs propres 138
Asma Najjar
2ème [Link] ISTIC
ACP
2. Trouver les m nouvelles variables Trouver les m
composantes principales
– Exemple : vecteurs et valeurs propres
Vecteurs propres
(direction)
11
1
Valeurs propres
(magnitude)
139
ACP
2. Trouver les m nouvelles variables Trouver les
m composantes principales
c. Choisir m vecteurs propres (m<d)
• Choisir m les vecteurs propre qui maximisent la variance
des projections des données
• La “qualité globale” des représentations est mesurée en
fonction de l’inertie.
– Inertie = variance généralisée à plusieurs dimension
140
Asma Najjar
2ème [Link] ISTIC
ACP
2. Trouver les m nouvelles variables Trouver les
m composantes principales
c. Choisir m vecteurs propres
• Maximiser l’inertie des données projetées
– Minimiser les distances entre les points originaux et
leurs projections
- Soit Hi est la projection de i sur Hi
- Selon Pythagore on a :
(Oi)2= (OHi)2+ (iHi)2
- Puisque (Oi)2 est constante
- Donc, si la valeur de (OHi)2
augmente , alors (iHi)2 diminue
141
ACP
2. Trouver les m nouvelles variables Trouver les
m composantes principales
c. Choisir m vecteurs propres
• Essayer de minimiser les situations
où deux points sont proches dans le
nouveau espace de représentation
alors qu’elles sont éloignées dans
l’espace de représentation
originale
142
Asma Najjar
2ème [Link] ISTIC
ACP
2. Trouver les m nouvelles variables Trouver les m
composantes principales
c. Choisir m vecteurs propresComment choisir m ?
• 1ère méthode: La valeur de m est choisie de sorte que
l’inertie rm soit supérieure à une valeur de seuil fixée a
priori par l’utilisateur
m
i
rm i 1
d
i 1
i
143
ACP
2. Trouver les m nouvelles variables Trouver les m
composantes principales
c. Choisir m vecteurs propresComment choisir m ?
• 2ème méthode: déterminer à partir de quel ordre les
différences entre les pourcentages d’inertie expliquée ne sont
plus significatives
Lorsque les différences entre
valeurs propres successives
deviennent faibles, les axes
principaux correspondants ne sont
plus significatifs
144
Asma Najjar
2ème [Link] ISTIC
ACP
3. Décrire les données d’origine en utilisant les nouvelles
variables
• Projeter les données sur les nouveaux axes
• Effectuer le produit scalaire entre une observation
(centrée-réduite) et chacun des vecteurs propres
Soit une observation (Xi) cr et un vecteur propre ej
(Xi) cr et ej sont des vecteurs de dimension d
(X i ) cr [(X 1i ) cr , (X i2 ) cr ,..., (X di ) cr ] e j [(e 1j ) cr , e 2j ,..., e dj ]
Le coordonnée de (Xi) cr sur l’axe ej est donnée par:
1 i N
Xi' ( Xi )cr , e j avec
1 j m 145
ACP
3. Décrire les données d’origine en utilisant les
nouvelles variables
Soit (Xi)’ le projeté de (Xi) cr dans le nouveau espace de
représentation
On obtient alors
d
1 i N
( X ij )' xik e kj avec
k 1 1 j m
( X i1 )' ( X i1 ) cr e11 ( X i2 ) cr e12 ( Xid )cr e1d
2 1 d
( X i )' ( Xi )cr e2 ( X i )cr e2 ( X i ) cr e2
1 2 2 d
m 1 d
( Xi )' ( X i ) cr em ( Xi )cr em ( X i ) cr em
1 2 2 d
146
Asma Najjar
2ème [Link] ISTIC
ACP
• Remarque : Seule les observations bien projetées
peuvent être interprétées
– Mesurer la qualité de représentation d’une variable et
d’un individu par un axe factoriel
• Evaluer l’apport de l’axe factoriel dans l’explication de
l’inertie de l’observation/variable.
• Cette mesure est connue sous le nom de contribution
relative d’un axe dans l’explication de l’inertie d’une
observation/variable
• Calculer comme le carrée du cosinus de l’angle entre
une observation/variable et sa projection
147
ACP
• Exemple
– 62 espèces de mammifères, décrits par 10 variables
148
Asma Najjar
2ème [Link] ISTIC
ACP
• Exemple (suite) : Projection sur deux axes des
nuages d’observations
149
ACP
• Exemple (suite) : Analyse des observations
– Le premier axe principal explique λ1=47,6% de
l’inertie totale du nuage d’observations, deux fois plus
que le deuxième axe qui explique seulement
λ2=22,25%.
– Nous pouvons constater
• Deux observations très atypiques, correspondant aux
éléphants.
• Les projections d’espèces qui présentent des
caractéristiques physiques et d’habitat similaires sont
naturellement similaires.
– par exemple "chèvre" (goat) et "mouton" (sheep)
150
Asma Najjar
2ème [Link] ISTIC
ACP
• Analyse des variables On intéresse aux colonnes
de la matrice
– Se déroule de façon symétrique.
• Considérer les colonnes de la matrice aux lignes de ces
lignes
• Utiliser la même approche composée de 3 étapes :
– Normalisation
» Les variables initiales doivent être centrées et
réduites avant l’analyse, pour avoir chacune une
moyenne nulle et une variance égale à 1
» Chaque variable initiale est représentée par un
vecteur de norme égale à 1, situé donc sur une
hyper-sphère centrée dans l’origine.
– Déterminer les composantes principales
– Projeter les données sur les nouveaux axes 151
ACP
• Analyse des variables On intéresse aux colonnes
de la matrice
– L’intersection de l’hyper-sphère avec le plan de projection,
défini par les deux premiers axes principaux, est un cercle
et les vecteurs sont projetés à l’intérieur de ce cercle.
– Plus la projection d’une
variable initiale est proche
du cercle, plus cette
variable est proche du plan
de projection, donc bien
représentée par ce plan.
152
Asma Najjar
2ème [Link] ISTIC
ACP
• Analyse des variables On intéresse aux colonnes
de la matrice
– Corrélation entre chaque variable et chacun des axes
• r(F1,xk) et r(F2,xk)
• Valeur proche de 1 : forte corrélation
• Valeur proche de -1 : forte anti-corrélation
Projection
153
Cercle de corrélation
ACP
• Exemple (suite)
– On constat 3 groupes de variables
initiales, avec une forte corrélation
entre les variables à l’intérieur de
chaque groupe.
– Forte opposition (P/R aux 2 axes) (2)
entre les groupes (1) et (2) anti-
corrélation
• Les mammifères qui courent plus de
dangers durant leur sommeil sont
ceux qui dorment le moins
– Opposition faible (P/R au 1er axe) (3)
entre les groupes (1) et (3) (1)
• les mammifères les plus gros ne sont
pas les plus gros dormeurs.
– Opposition faible (P/R au 2ème axe)
entre les groupes (2) et (3)
• les mammifères les plus gros courent
en général moins de risques (et sont
plus difficilement des proies).
154
Asma Najjar
2ème [Link] ISTIC
ACP
• Certaines règles d’interprétation :
• Le regroupement de projections des observations sur les plans
factoriels s’interprète en termes de similitudes de comportement
par rapport aux variables.
• Associer une interprétation aux axes à partir des corrélations et
des oppositions entre variables initiales.
• Éviter d’interpréter les projections sur un
axe des observations mal représentées par
l’axe (contributions relatives faibles).
• Retirer, pour une nouvelle analyse, les
individus ayant des contributions
absolues excessives à l’orientation de
certains axes
155
ACP
• Résumé: ACP permet de :
– Diminuer le nombre de variables
– Révéler quelles variables sont corrélées et quelles
variables s’opposent.
– Mettre en évidence des regroupements d’observations et
les caractériser à partir des variables.
– Si les observations ne sont pas anonymes, identifier des
relations entre elles.
156
Asma Najjar