Plan de travail : Analyse en Composantes Principales (ACP)

Introduction
II. Les Fondements Mathématiques
III. La Méthodologie
Calcul : Matrice de corrélation et recherche des valeurs propres / vecteurs propres.
Sélection : Combien de composantes garder ? (Règle de Kaiser ou coude de l'éboulis).
IV. Interprétation des Résultats
Le cercle des corrélations : Comprendre les relations entre les variables.
Le nuage des individus : Identifier des groupes (clusters) ou des individus atypiques.
Qualité de représentation : Comment savoir si notre résumé est fidèle à la réalité ?
V. Cas Pratique et Applications
Exemples d'utilisation : Marketing (segmentation client), Génétique, ou Traitement d'images.
Avantages et Limites : C'est puissant, mais attention aux relations non-linéaires que l'ACP ne
voit pas.
VI. Conclusion
Synthèse de l'importance de l'ACP dans le pipeline de la Data Science.
Ouverture vers des méthodes plus avancées (comme l'ACM pour les données qualitatives).
Introduction
L'Analyse en Composantes Principales (ACP) est une technique statistique qui réduit la
dimensionnalité de jeux de données complexes en les transformant en un ensemble plus petit
de nouvelles variables non corrélées appelées composantes principales (CP), qui capturent
la majeure partie de la variabilité originale. En d’autres terme, c’est une méthode qui permet
de simplifier un grand tableau de données en le transformant en un tableau beaucoup plus
petit, tout en conservant le maximum d’information possible. Elle est née dans un contexte
où les jeux de données comportant un grand nombre de variables étaient devenus assez
complexe rendant ainsi l’extraction des informations pertinentes. C’est ainsi que L’analyse en
Composantes Principales permet de :
- La réduction de la dimensionnalité en transformant un grand nombre de variables en
quelques composantes clés.
- La visualisation des données en projetant des données multidimensionnelles dans un
plan (2D) ou un espace (3D) pour les rendre interprétables.
- La synthèse et la description qui revient à résumer un jeu de données complexe en
mettant en évidence les principales tendances et relations entre les variables.
- La détection de structure en identifiant des profils d'individus ou des regroupements
cachés dans les données.
- Le filtrage des bruits qui revient à supprimer les informations redondantes ou
aléatoires en se concentrant sur les composantes principales qui représentent les vrais
motifs.
- La compression de données qui vise à créer des représentations plus compactes, utile
pour la compression d'images ou l'efficacité algorithmique.

II. Les Fondements Mathématiques

A. Notion clés.
Pour comprendre l’ACP, il faut maîtriser deux concepts statistiques de base : la variance et la
corrélation.

1. La Variance (L’Information)
La variance mesure la dispersion ou la variabilité des données autour de leur moyenne. En
analyse de données, la variance est souvent synonyme d’information. Si tous les individus
d'un jeu de données ont la même valeur pour une variable (par exemple, le même âge), cette
variable n'apporte aucune information pour les différencier. À l'inverse, plus la variance d'une
variable est élevée, plus elle contient d'informations utiles pour distinguer les individus. On
distingue alors :
• Forte variance : Les données sont très étalées. La variable contient beaucoup
d’information (de diversité).
• Faible variance : Les données sont très regroupées autour de la moyenne. La variable
contient peu d’information.
L’ACP est obsédée par la variance. Son but est de trouver les directions (les Composantes
Principales) qui capturent le maximum de variance du jeu de données.

2. La Corrélation (Le Problème)

La corrélation mesure le lien entre deux variables. Si deux variables sont fortement corrélées
(par exemple, la taille et le poids), elles véhiculent une information redondante.
Le Problème : Si vous avez 10 variables qui mesurent presque la même chose (elles sont
fortement corrélées), vous n’avez pas réellement 10 sources d’information indépendantes,
mais peut-être seulement 1 ou 2. L’ACP vise à éliminer cette redondance.

B. Changement de repère

Le changement de repère en ACP est une rotation orthogonale de l'espace.

Mathématiquement, on passe de la base "naturelle" (les variables initiales) à une nouvelle
base (les composantes principales) qui permet de mieux voir la dispersion des données. Il peut
se faire en trois (3) étapes :

1. La définition des nouveaux axes (Les Vecteurs Propres)

Pour changer de repère, il faut définir les nouvelles directions. En ACP, ces directions sont les
vecteurs propres de la matrice de covariance (ou de corrélation).

• Première Composante Principale (CP1) : L’ACP cherche la droite (l’axe) qui passe
par le centre du nuage et sur laquelle la projection des points donne la plus grande
variance possible. C’est l’axe qui suit la direction de l’allongement maximal du nuage.
CP1 capture le maximum d’information (de variance) du jeude données.
• Deuxième Composante Principale (CP2) : L’ACP cherche ensuite un deuxième axe.
Ce deuxième axe doit être orthogonal (perpendiculaire) au premier. Parmi toutes les
droites perpendiculaires à CP1, elle choisit celle qui capture le maximum de la
variance restante.
• Les Composantes Suivantes : On continue ainsi jusqu’à obtenir autant de
Composantes Principales qu’il y avait de variables initiales. Chaque nouvelle
composante est orthogonale aux précédentes et maximise la variance restante.

2. La Matrice de Passage (P)

Le changement de base est régi par une matrice de passage, notée souvent P ou U. Cette
matrice est constituée des vecteurs propres rangés en colonnes :

P = [𝑢𝑢1 , 𝑢𝑢2 , … , 𝑢𝑢𝑝𝑝 ]

Puisque les axes sont orthogonaux et normalisés, P est une matrice orthogonale. Une propriété
fondamentale est que sa transposée est égale à son inverse : 𝑃𝑃−1 = 𝑃𝑃𝑇𝑇

3. La formule de transformation

Pour calculer les nouvelles coordonnées (les scores) d'un individu dans le nouveau repère, on
applique une multiplication matricielle.

Si X est le vecteur des valeurs initiales d'un individu (centrées et réduites) et F est son vecteur
dans le nouveau repère des composantes principales, la relation est :
 𝐹𝐹 = 𝑃𝑃𝑇𝑇 𝑋𝑋

Ou, de manière plus détaillée pour la k-ième composante :

𝐹𝐹𝑘𝑘 = 𝑢𝑢𝑘𝑘,1 𝑋𝑋1 + 𝑢𝑢𝑘𝑘,2 𝑋𝑋2 + ⋯ + 𝑈𝑈𝑘𝑘,𝑝𝑝 𝑋𝑋𝑃𝑃

Pourquoi fait-on ce changement ?

Repère Initial Repère ACP

Variables corrélées (les axes ne sont pas Variables décorrélées (les composantes
"indépendants" dans l'information qu'ils sont orthogonales).
portent).
Information éparpillée sur tous les axes. Information concentrée sur les premiers
axes (on peut supprimer les derniers sans
trop de perte).
Échelles disparates (si non réduit). Échelle d'inertie décroissante (liée aux
valeurs propres).

C. Le Principe Mathématique : Valeurs Propres et Vecteurs Propres

Pour trouver ces nouveaux axes, on utilise des outils d'algèbre linéaire sur la matrice de
corrélation (ou de covariance) :
• Les Vecteurs Propres : Ils définissent la direction des nouveaux axes (les
composantes). Le premier vecteur propre pointe dans la direction où les données sont
le plus étirées.
• Les Valeurs Propres (lambda) : Elles mesurent la quantité de variance (l'importance)
expliquée par chaque axe. Plus la valeur propre est grande, plus l'axe associé est
important.

D. Le critère de Kaiser et Le coude d'éboulis

Pour simplifier, le critère de Kaiser et le coude d'éboulis sont deux méthodes qui servent à
répondre à la question cruciale de l'ACP : "Combien de composantes principales dois-je
garder pour résumer mes données sans trop perdre d'information ?"

1. Le critère de Kaiser

C'est la règle la plus simple et la plus utilisée.

 • Le principe : On ne garde que les composantes principales dont la valeur propre est
supérieure à 1.
• La logique : En ACP normée (centrée-réduite), chaque variable initiale a une variance
de 1. Si une composante principale a une valeur propre inférieure à 1, cela signifie
qu'elle apporte moins d'information qu'une seule variable d'origine. Elle n'est donc
pas considérée comme un bon "résumé".
• Quand l'utiliser : C'est un excellent point de départ, mais il a tendance à retenir
parfois trop d'axes si vous avez un très grand nombre de variables.

2. Le coude d'éboulis

C'est une méthode visuelle basée sur un graphique qui représente les valeurs propres en
fonction du numéro de la composante.

• Le principe : On trace une courbe reliant les points des valeurs propres. On cherche
l'endroit où la pente de la courbe change brutalement (elle "s'aplatit"). Ce point de
rupture ressemble à un coude.
• La règle de décision : On retient toutes les composantes situées avant le coude.
• La logique : Le "coude" sépare les composantes qui portent le signal (la structure
importante des données) du "bruit" (les variations mineures et aléatoires qui forment la
partie plate de la courbe, appelée éboulis).

Comparaison des deux méthodes

Caractéristique Critère de Kaiser Coude d'éboulis

Type de méthode Numérique / Automatique Visuelle / Subjective

Seuil Valeur propre > 1 Rupture de pente (le "coude")

Avantage Précis et objectif Permet de voir la chute réelle de l'info

Inconvénient Parfois trop généreux Parfois difficile à lire (plusieurs coudes)

LES ETAPES DE L’ACP

Passer d'une variable initiale aux composantes principales en Analyse en Composantes

Principales (ACP) est un processus mathématique qui vise à transformer des variables
corrélées en de nouvelles variables indépendantes (les composantes).

Voici les étapes clés pour comprendre comment s'effectue ce passage :

1. Préparation et Centrage-Réduction

Avant toute chose, on transforme les données pour qu'elles soient comparables, surtout si elles
n'ont pas les mêmes unités. Lors de la première étape de l'ACP (le Centrage et laRéduction),
une transformation géométrique et statistique est effectuée préparant ainsi le terrain pour
l'analyse. Voici ce qu'il se passe "sous le capot" :

 Le Centrage

Pour chaque variable, on calcule sa moyenne x et on la soustrait à chaque valeur ( x i − x )

• L'effet concret : Vous déplacez le nuage de points dans l'espace pour que son centre
de gravité (le milieu du nuage) se situe exactement à l'origine (0, 0, ...).
• Pourquoi ? L'ACP cherche à expliquer la variance (l'écart par rapport à la moyenne).
Si le nuage n'est pas centré, les calculs de distance seront faussés par la position du
nuage par rapport à l'origine du graphique.

2. La Réduction

On divise chaque valeur centrée par l'écart-type de la variable ( σ ).

• L'effet concret : On "écrase" ou on "étire" les axes pour que chaque variable ait une
dispersion (variance) égale à 1.
• Pourquoi ? C'est l'étape de démocratie statistique. Si vous ne réduisez pas, une
variable exprimée en "millimètres" (grosses valeurs, grosse variance) écrasera
totalement une variable exprimée en "kilomètres" (petites valeurs, faible variance). La
réduction permet de comparer des carottes et des navets sur un pied d'égalité.

 Le résultat : La Standardisation

À la fin de cette étape, vos données sont devenues adimensionnelles (elles n'ont plus d'unité :
ni kg, ni €, ni cm).

• Une valeur de 0 signifie que l'individu est "dans la moyenne".

• Une valeur de +2 signifie que l'individu est "très au-dessus de la moyenne" (à 2 écarts-
types).
• Une valeur de -1 signifie que l'individu est "en dessous de la moyenne".

2. La Matrice de Corrélation

On calcule la matrice de corrélation (ou de covariance) qui mesure comment les variables
initiales "bougent" ensemble. C’est à partir de cette matrice que l'on va extraire l'information
structurelle. Le calcul de la matrice de corrélation est une étape pivot de l'ACP, car c'est elle qui
permet d'étudier les liaisons entre les variables, indépendamment de leurs unités de mesure.

Voici les étapes détaillées pour la calculer :

 Centrer et Réduire les données

C'est l'étape indispensable. Si vous calculez la matrice de covariance sur des données
centrées-réduites, vous obtenez exactement la matrice de corrélation. Pour chaque valeur
𝑥𝑥𝑖𝑖𝑖𝑖 (individu 𝑖𝑖, variable 𝑗𝑗), on calcule la valeur transformée 𝑧𝑧𝑖𝑖𝑖𝑖 :

x −x
ij
z ij =
j

σ j

• x ij
: moyenne de la variable 𝑗𝑗
• σ j
: écart-type de la variable 𝑗𝑗

 Calculer les coefficients de corrélation (Pearson)

Chaque élément r jk
de la matrice de corrélation représente la liaison entre la variable 𝑗𝑗 et la
variable k. La formule est :

Cov( X X )
r
j k
=
jk
σσ j k

Le résultat est toujours compris entre -1 (corrélation négative parfaite) et 1 (corrélation

positive parfaite). Une valeur de 0 indique une absence de liaison linéaire.

 La forme matricielle

Si l'on note Z la matrice des données centrées-réduites (de taille n individus * p variables), la
matrice de corrélation R (de taille p*p) se calcule très simplement :

1 T
nZ Z
R=

1
(Note : on utilise parfois selon que l'on travaille sur un échantillon ou une population).
n −1
La matrice de corrélation est une matrice symétrique où la diagonale est toujours remplie de
1 (chaque variable est parfaitement corrélée avec elle-même). En ACP, c'est cette matrice que
l'on va ensuite "diagonaliser" pour trouver les valeurs propres.

3. Calcul des Valeurs Propres et Vecteurs Propres

Le calcul des valeurs propres et des vecteurs propres est le moteur de l'ACP.
Mathématiquement, cela revient à diagonaliser la matrice de corrélation (ou de covariance).

Voici comment ce calcul s'effectue étape par étape :

 L'équation fondamentale
Tout repose sur une équation matricielle. Si l'on note R la matrice de corrélation, on cherche
un scalaire λ (la valeur propre) et un vecteur u (le vecteur propre) tels que :

Ru = λ .u

On cherche une direction u qui, lorsqu'elle est multipliée par la matrice des données, ne
change pas de direction mais est seulement étirée par un facteur λ .

 Trouver les Valeurs Propres

Pour que l'équation ci-dessus ait une solution autre que le vecteur nul, il faut résoudre le
polynôme caractéristique. On cherche les racines de :

det( R − λ I ) =
0

(Où I est la matrice identité).

• Le calcul : Pour une matrice carré d’ordre 2, cela donne une équation du second
degré. Pour p variables, on obtient un polynôme de degré p, fournissant p valeurs
propres (λ 1, λ 2,..., λ p )
• Le sens : On les trie de la plus grande à la plus petite. La plus grande valeur propre
correspond à l'axe qui capte le plus de variance (le premier axe de l'ACP).

 Trouver les Vecteurs Propres

Une fois qu'on a une valeur propre (par exemple λ 1

), on la réinjecte dans l'équation initiale
pour trouver le vecteur correspondant :

( R − λ 1I )u =
0

• Le calcul : On résout ce système d'équations linéaires pour trouver les coordonnées du

vecteur u 1
• Contrainte : On normalise toujours ces vecteurs pour que leur longueur soit égale à 1
( u = 1 ). Cela garantit que le changement de repère ne déforme pas les données.

 Le rôle de chaque élément

- Valeur propre est l'inertie (ou variance) expliquée par l'axe $k$. Sa somme est égale
au nombre de variables initiales.
- Vecteur propre sont les coefficients (poids) à appliquer aux variables initiales pour
construire la nouvelle composante.

4. La Transition : La Combinaison Linéaire

Le passage d'une variable initiale X à une composante principale F se fait par une
combinaison linéaire.
Si vous avez trois variables initiales X ,X ,X
1 2 3
, la première composante principale F 1
s'exprime ainsi :

F =a X + a X + a X
1 1 1 2 2 3 3

• Les coefficients a sont appelés les poids.

i
• Ils correspondent aux coordonnées du vecteur propre associé à la plus grande valeur
propre.
• Plus le poids a 1 est élevé (en valeur absolue), plus la variable X 1 contribue
fortement à la création de cette composante.

5. Projection des individus

Une fois que l'on a cette formule, on remplace X ,X ,X

1 2 3
par les valeurs réelles d'un
individu pour obtenir sa nouvelle coordonnée (son score) sur l'axe de la composante
principale.

En résumé, passer de l'un à l'autre revient à effectuer une rotation du repère : au lieu de
regarder vos données selon les axes des variables d'origine, vous les regardez selon les axes
qui capturent le maximum de dispersion (étalement) des données.