Analyse Factorielle
Pr Roch Giorgi
[Link]@[Link]
SESSTIM, Faculté de Médecine, Aix-Marseille Université, Marseille, France
[Link]
Introduction (1)
● Étudier simultanément un nombre important de
variables quantitatives
2 variables quantitatives nuage de points (espace de
dimension 2)
J variables espace de dimension J !
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 2
Introduction (2)
● Méthode pour obtenir un résumé « pertinent » des
données initiales
Cherche à expliquer la variance commune entre les
variables
Par de nouvelles variables – facteurs « latents »
Largement utilisée en sciences sociales notamment pour
étudier des concepts qui ne peuvent pas être mesurés
directement
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 3
Introduction (3)
● Méthode factorielle de réduction de dimension pour
l’exploration statistique de données quantitatives
complexes
Possible également avec des variables qualitatives
● Pour fournir une interprétation d’un nouvel espace
créé par un nombre réduit de dimensions qui sont
à la base des anciennes dimensions
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 4
Introduction (4)
● Construction du modèle statistique associé,
estimation
● Représentations graphiques des individus, des
variables et simultanée
● Qualité de représentation
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 5
Objectifs
● Réduction du nombre de variables
● Identification de variables latentes
Interprétation subjective
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 6
Principes (1)
● Variables V1,…,VJ liées à un petit nombre de
variables (non-observées) latentes f1,…,fk avec k<J
● Modèle de régression
V1 11. f1 12 . f 2 ... 1k . f k u1
V2 21. f1 22 . f 2 ... 2 k . f k u2
V j j1. f1 j 2 . f 2 ... jk . f k u j
VJ J 1. f1 J 2 . f 2 ... Jk . f k u J
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 7
Principes (2)
V j j1. f1 ... jl . fl ... jk . f k u j
● jl : coefficient de régression reflétant le lien de
chaque Vj sur le facteur commun
Valeurs élevées relient le facteur aux variables initiales à
partir desquelles ont en déduit une description des
facteurs
● uj : résidu spécifique à Vj avec u1,…, uJ non corrélés
entre eux et avec f1,…,fk
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 8
Principes (3)
● Facteurs ne sont pas corrélés entre eux
(conditionnellement aux facteurs, les variables sont
indépendantes , i.e. les corrélations entre les
variables observées proviennent de leurs relations
avec les facteurs)
● Les coefficients de régression .. () : facteurs
extraits
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 9
Autres Hypothèses
● Facteurs sont de moyenne nulle et de variance
égale à 1
● Facteurs ne sont pas corrélés entre eux
Facteurs extraits expriment la corrélation entre les
variables et les facteurs
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 10
Variance de Vj
k
jl2 j
2
j
l 1
Variance commune Variance de uj , variance
partagée avec les autres spécifique à Vj non
variables au travers de fl partagée avec les autres
variables
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 11
Covariance entre Vj et Vm
Indépendant de Vj et Vm
La relation s’exprime au travers des
facteurs communs
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 12
Remarque
● Estimation des paramètres
Analyse factorielle principale
Maximum de vraisemblance
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 13
Détermination du Nombre de Facteurs
● Règle de Guttman-Kaiser
Valeurs propres > 1
● Retenir les facteurs correspondant à 70-80% de la
variance
● Scree plot
● Approche par Maximum de vraisemblance permet
d’effectuer un test statistique (H0 : k facteurs sont
suffisant vs H1 : nombre de facteurs ≥ k)
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 14
Rotation des Facteurs (1)
● Extraction des facteurs
Interpréter et nommer les facteurs
● Rotation des facteurs
Altère le pattern des facteurs extraits et peut améliorer
l’interprétation
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 15
Facteurs Extraits et Scores
● Interprétation des facteurs extraits
Ceux expliquant au moins 16% de la variance (surtout
vrai pour ACP)
● Les valeurs des scores peuvent être utilisées par la
suite pour
Identifier des clusters de sujets
Effectuer une régression pour résoudre un problème de
multicolinéarité
Effectuer une analyse sur les scores plutôt que sur des
variables qui constitueraient en fait des mesures
similaires d’une même variable sous-jacente
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 16
Rotation des Facteurs (2)
Fact. 1
Orthogonale
Fact. 2
Fact. 1
Rotation
Fact. 2
Fact. 1
Extraction Oblique
Fact. 2
Source : Field A. Discovering Statistics using SPSS for Windows. London-
Thousand Oaks-New Delhi: Sage publications. 2000.
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 17
AF et ACP : Similarités
● Réduction du nombre de variables
● Utilisés sur matrice de covariances ou de
corrélations
● Reposent sur un modèle linéaire
● Résultats similaires que AF sans rotation
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 18
AF et ACP : Différences
● AF repose d’emblée sur la construction d’un modèle
linéaire (approche modélisation) – ACP recherche le
meilleur ajustement dans un espace réduit et se fini
par un modèle linéaire (approche descriptive)
● AF cherche à reproduire au mieux la matrice de
covariance ou de corrélation (décomposition de la
variance, commune unique et erreur) – ACP optimise la
variance totale (variance totale des variables prises en
compte par la moyenne des composantes ; il n’y a pas de
terme d’erreur)
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 19
Exemple
● 300 étudiants, 6 variables
Biologie, géologie, chimie, algèbre, calcul, statistique
1 → 5 ; apprécie pas du tout → apprécie fortement
Source : [Link]
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 20
Descriptif
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 21
Matrice de Corrélations
BIO GEO CHEM ALG CALC STAT
BIO 1.0000000 0.6822208 0.7470278 0.1153204 0.2134271 0.2028315
GEO 0.6822208 1.0000000 0.6814857 0.1353557 0.2045215 0.2316288
CHEM 0.7470278 0.6814857 1.0000000 0.0838225 0.1364251 0.1659747
ALG 0.1153204 0.1353557 0.0838225 1.0000000 0.7709303 0.4094324
CALC 0.2134271 0.2045215 0.1364251 0.7709303 1.0000000 0.5073147
STAT 0.2028315 0.2316288 0.1659747 0.4094324 0.5073147 1.0000000
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 22
Résultats de l’AF (1)
● Nombre de facteurs
Test of the hypothesis that 1 factor is sufficient.
The chi square statistic is 345.33 on 9 degrees of freedom.
The p-value is 6.11e-69
Test of the hypothesis that 2 factors are sufficient.
The chi square statistic is 2.94 on 4 degrees of freedom.
The p-value is 0.568
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 23
Résultats de l’AF (2)
● Sans rotation
Loadings:
Factor1 Factor2
BIO 0.303 0.810
GEO 0.290 0.736
CHEM 0.230 0.835
ALG 0.781 -0.130
CALC 0.970 -0.103
STAT 0.530
« Science »
« Math »
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 24
Résultats de l’AF (3)
● Sans rotation
Factor1 Factor2
SS loadings 2.061 1.926
Proportion Var 0.344 0.321
Cumulative Var 0.344 0.665
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 25
Résultats de l’AF (4)
● Représentation graphique (sans rotation)
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 26
Résultats de l’AF (5)
● Rotation Varimax (orthogonale ; maximise la
variance du nouveau facteur)
Loadings:
Factor1 Factor2
BIO 0.855 0.133
GEO 0.779 0.135
CHEM 0.865
ALG 0.791
CALC 0.971
STAT 0.170 0.506
« Math »
« Science »
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 27
Résultats de l’AF (6)
● Rotation Varimax
Factor1 Factor2
SS loadings 2.124 1.863
Proportion Var 0.354 0.311
Cumulative Var 0.354 0.665
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 28
Résultats de l’AF (7)
● Représentation graphique (après varimax)
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 29
Sources
● Brian S. Everitt. An R and S-PLUS Companion to
Multivariate Analysis. Springer 2005.
● [Link]
[Link]
© Roch Giorgi, SESSTIM, Faculté de Médecine, Aix-Marseille Université 30