Cours M1 MDB – Outils d'analyse et de pilotage des

affaires
Module 1 –Les bases des analyses de données :
Données, variables, matrices et mesures d’association

Objectif du module :

Etablir les indicateurs de base pour mener les analyses de

données
Rappel des statistiques élémentaires, fondations des outils de
traitement des données
Auteur : Hugues Fournel
Leçon : OAP 1
Plan de la séance
 1.1 Notions de base
 le Tableau de données
 les matrices d’association
 type de variables et choix d’un indice de mesure
 1.2 Mesures de ressemblance d’individus
 La similarité
 La distance
 1.3 Mesures de ressemblance de variables :
 Corrélation et covariance
 Le Khi carré

2
Leçon 1 : Notions de base

Objectif de la leçon :

Auteur : Hugues Fournel

Leçon : Met_Quant_M2L1 3
 Tableau de données

 L’analyse marketing traite généralement des tableau de données.

 Ce sont des tableaux (ou matrices rectangulaires) contenant :
 Des individus (ou objets) en ligne
 Des variables (ou descripteurs) en colonne

4
 Tableau de données

 L’objectif de ce cours est d’étudier :

 la mesure de la ressemblance entre les individus ou les
variables d'un tableau de données;
 le groupement des individus ou des variables selon ces
ressemblances;
 l’ordination des individus et/ou des variables dans un espace
réduit permettant de faire ressortir leurs structures principales;
 la modélisation des relations entre des tableaux de données à
expliquer et des ensembles de variables explicatives;

5
Tableau de données
 Les différents critères statistiques et méthodes d’analyse vont
comparer des paires d’individus ou de variables
Comparaison de variables
Analyse en mode R
Comparaison d’individus
Analyse en mode Q

6
Les matrices d’associations
 Cette distinction est importante car la comparaison est fondée
sur des indices d'association, et que ces indices ne sont
pas les mêmes en mode Q et en mode R.
 En mode Q, les indices utilisés mesurent la similarité ou la
distance entre les paires d'objets. Exemple: distance
euclidienne.
 En mode R, on utilise plutôt des coefficients de dépendance
entre les variables, tels que la covariance ou la corrélation

7
Types de variables
 Variables qualitatives nominales :
Réponse dichotomiques ou binaire (Oui/Non)
Réponse à une modalité parmi plusieurs modalités
 Variable qualitatives ordinales
variables dont les modalités sont ordonnées selon une gradation ex :
Très important / important / peu important / très peu important
 Variables quantitatives discrètes
Variables se présentent sous la forme d’un nombre entier limité à peu
de valeurs (nombre d’enfants)
 Variables quantitatives continues
Nombre quelconque (montant du chiffre d’affaires)

8
Le choix de l’indice
 Le choix d'un indice approprié est fondamental, car toute
analyse ultérieure se fera sur la matrice d'association qui en
résulte.
 Il va dépendre :
 du fait que l’on travaille sur une comparaison d’individus ou de variable
 Du type de la variable
 Plusieurs indices peuvent être calculés :
 Similarité / dissimilarité
 Distance
 Covariance / corrélation
 Khi carré
 …

9
Leçon 2 : Mesures de ressemblance des
individus

Objectif de la leçon :

Auteur : Hugues Fournel

Leçon : Met_Quant_M2L1 10
Le problème …
 Déterminer des ressemblances entre individus à partir
de données collectées
Carte Possède Taille Montant
Fidélité Voiture CSP Ménage Panier Age
Individu 1 OUI OUI Employé 2 120 32
Individu 2 NON OUI Etudiant 1 35 24
Individu 3 OUI OUI Cadre 4 165 44
Individu 4 OUI NON Retraité 2 23 75
Individu 5 NON OUI Cadre 5 170 55

Deux possibilités envisagées : indices de similarités ou

utilisation de la distance

11
1.2.1 La notion de similarité
 Similarité sur des variables dichotomiques
 On dit que deux objets A et B, décrits par p attributs sont similaires, si
le maximum d’attributs sur les p attributs sont identiques.
 Le nombre de points communs (ou coïncidences) permet de construire
une mesure quantitative de la similarité entre des objets.
 Il existe deux types de coïncidence :

Valeur de l’attribut A Valeur de l’attribut A Coïncidence

objet 1 Objet 2
Oui Oui Positive

Oui Non Non coïncidence

Non Oui Non coïncidence

Non Non Négative

12
Les indices de similarité

 Dépendent de la manière de prendre en compte les

coïncidences négatives :
 Indice de Russel n’accorde aucun poids aux coïncidences négatives
 Indice de Jaccard consiste à donner un poids moins important aux
coïncidences négatives qu’aux positives
 Indice de Sokal donne le même poids aux coïncidences négatives
et positives
 Le choix du bon indice de coïncidence s’effectue qu’après
une analyse des variables de comparaison et une étude de
la distribution des valeurs.

13
La similarité : un exemple
 Soit la composition de trois desserts :
Barre de Crème Gâteau de
céréales dessert Riz
Chocolat Oui Non Oui
Beurre Non Non Oui
Liquide Non Oui Non
Parfum mandarine Non Non Oui
Emballage métal Non Oui Oui
Mini-dose Oui Oui Non
Sucre Oui Oui Oui
Riz Oui Non Oui
Edulcorant Non Non Oui
Colorant Non Non Oui
14
Matrice de coïncidence

Barre de céréales

Oui Non

Crème dessert Oui 2 2

Non 2 4

Gâteau de Riz Oui 3 5

Non 1 1

15
 Indices de similarité

Barre de Barre de
Céréale / Céréales /
Indice Formule Conclusion
Crème Gâteau de
dessert Riz
Coïncidences positives Gâteau de riz
Russel / Nombre de 20% 30% proche de barre
comparaisons de céréales

Coïncidences pos. / Crème dessert

Jaccard (Nb de comparaisons – 33% 33% proche de barre
coïncidences nég.) de céréales

Coïncidences pos. et Crème dessert

Sokal nég. / Nombre de 60% 30% proche de barre
comparaisons de céréales

Dans cet exemple, les résultats de la similarité dépendent de l’indice choisi

16
 Similarité sur variables quelconques
 Il s’agit de composer un indice composite de toutes les similarités sur
différents critères :
 Similarité sur variables dichotomique est égale à 1 si les deux objets
présentent le même critère
 Similarité sur les variables qualitatives est égale à 1 si les objets présente
la même caractéristique
 Similarité sur les variables quantitatives mesure l’écart entre les deux
objets de manière relative par rapport à l’étendue de la distribution de la
variable.
Exemple de similarité sur variables quantitatives
Produit A Produit B Produit C Produit D
Prix 1300 1500 1800 1600
Etendue de la distribution : = (1800-1300)=500
Similarité entre A et B : = 1 – (abs(1300-1500)/500) = 0,6

Remarque : le coefficient de corrélation r est un indice de

similarité, de même 1-r sera un indice de dissimilarité
17
Exemple de similarité
 Les Yaourts …

18
1.2.2 Mesure de Distance

 Notion de distance est le complément à la notion de similarité :

 deux objets similaires ont une distance nulle
 une distance maximale sépare deux objets différents.
 Pour des variables qualitatives on peut construire une distance
en utilisant la similarité. Ex :
D  1- S D  1- S D  1 - S2
 Les distances métriques obéissent aux propriétés suivantes :
Si a  b alors Da,b   0
Si a  b alors Da,b   0
Da,b   Db,a 
Da,b   Db,c   Da,c 
19
La distance euclidienne
 Se définit à partir du théorème de Pythagore
 Exemple en dimension 2
5

4 B

A
1 C

0
0 1 2 3 4 5 6 7

DA,B 2  DA,C 2  DB,C 2 DA,B   (6  2)2  ( 4  1)2

DA,B   DA,C 2  DB,C 2  16  9  5

20
La distance euclidienne
d : R n xR n  R 
n
( x, y)  d( x, y )   i i
(
i1
y  x ) 2

 Cette mesure n’a pas de borne supérieure

 Elle augmente avec le nombre de variables
 Elle varie selon l’échelle des variables
 On peut calculer une distance sur les variables centrées
réduites.

21
AUTRES mesures de distance
 Distance de Minkowski :

d(i, j)  (| x  x |  | x  x | ... | x  x | )
q
q q q
i1 j1 i2 j2 ip jp
 Si q=1 : Distance de Manhattan

d(i, j) | x  x |  | x  x | ... | x  x |
i1 j1 i2 j2 ip jp
 Si q=2 : distance Euclidienne

d(i, j)  (| x  x |  | x  x | ... | x  x | )
2 2 2
i1 j1 i2 j2 ip jp

 Distance du Khi²
22
Différence distances Manhattan / Euclidienne

5 Distances :

B Manhattan
C
4
Ouverture de compte

3
Euclidienne

2 A

E D

0
0 1 2 3 4 5 6
Autorisaiton de découvert

23
Exemple : construction d’une matrice de distance

 exemple : cinq banques notées (note de 1 à 5) selon leur

performance en matière d’ouverture de compte et
d’autorisation de découvert
 Tableau de données :

24
Représentation graphique

 Possible car dimension 2

25
Calcul des distances

 Entre A et B
2
DA,B   
 i i
y  x 2

i 1

DA,B   4  22  5  4 2
 22  12  5
 2,236

26
 Matrice des distances

 Le calcul des différentes distances donnera la matrice des

distances :
A B C D E
A 0 2,236 2,236 2,236 3,162
B 2,236 0 2 4,243 5
C 2,236 2 0 3,162 3,606
D 2,236 4,243 3,162 0 1
E 3,162 5 3,606 1 0

Cette matrice sera utilisée dans les techniques de classification d’individus

27
Conclusion sur la ressemblance d’individus
 L’utilisation des critères de distance suppose que les
individus soit positionnés dans un espace pourvu d’une
métrique
 Problème des variables qualitatives :
 Soit indice de similarité
 Soit utilisation d’une analyse préalable (ex ACM)
 Le résultat est une matrice que l’on analysera avec des
méthodes comme par exemple la classification (Cf cours
ultérieur)
 Exemple d’application : Faire une typologie clients pour
adapter une stratégie différenciée

28
Leçon 3 : Mesures de liaison des Variables

Objectif de la leçon :

Auteur : Hugues Fournel

Leçon : Met_Quant_M2L1 29
Lorsqu’on compare des variables entre elles sur la base de
leurs valeurs dans une série d’individus, on cherche en général à
décrire la manière dont ces variables varient l’une par rapport à
l’autre.
 Lorsque les variables sont quantitatives, cette information peut
être mesurée par la covariance ou la corrélation linéaire. (Cf
1.3.1)
 L’analyse de la dépendance entre variables qualitatives passe
par des tableaux de contingence. Le coefficient de base de ces
tableaux est le khi-carré ou Khi-deux. (Cf 1.3.2)
 Lorsqu’on veut mesurer l’influence d’une variable qualitative sur
une variable quantitative on utilisera par exemple l’analyse de la
variance (Cf 1.3.3)
30
1.3.1 corrélation et covariance
Objectif : analyser la liaison entre deux variables quantitatives
Soient X et Y deux grandeurs statistiques quantitatives observées.
On souhaite :
 Déterminer s'il existe une relation entre X et Y .
 Caractériser la forme de la liaison (la relation) entre X et Y
(positive ou négative, linéaire ou non linéaire, monotone ou non
monotone).
 Tester si la liaison est statistiquement significative.
 Quantifier l'intensité de la liaison.
 Valider la liaison identifiée. Est-ce qu'elle n'est pas le fruit d'un
simple artefact ou le produit d'autres informations sous-jacentes
dans les données ?

31
 L’analyse
graphique

Graphique de type
nuage de points
X en abscisse
Y en ordonnée
On regarde la forme
du nuage de points

32
La covariance
 La covariance mesure la tendance des deux variables à être simultanément
au dessus ou en dessous de leurs espérances respectives (de leur moyenne).
Elle modélise une liaison monotone
 On peut quantifier le sens de la liaison :
 COV (X; Y ) > 0 : la relation est positive : lorsque X est plus grand que son
espérance, Y a tendance à l'être également ;
 COV (X; Y ) = 0 : absence de relation monotone ;
 COV (X; Y ) < 0 : la liaison est négative : lorsque X est plus grand que son
espérance, Y a tendance à être plus petit que sa propre espérance.
 La covariance d'une variable avec elle-même est la variance (toujours >0)

33
Calcul de la covariance
 Soit :
n le nombre d’observations (d’individus)
X et Y les moyennes des variables X et Y


1 n
n i 1
  1 n
COV ( X, Y )   Xi  X Yi  Y   Xi Yi  XY
n i 1

Rappel de la formule de la variance :

2 1 2
1 n
 
n
V( X)   Xi  X 
n i 
 X   X 2
n i 1  i 1 

Voir exemple de calcul dans Excel

34
Le coefficient de corrélation (de Pearson)
 C’est une normalisation de la covariance par le produit
des écarts-type des variables
COV( X, Y ) COV( X, Y )
rx,y  
V X V Y  x y

 Même sens de liaison que la covariance

 Si X et Y indépendantes alors rx,y=0 (la réciproque est
fausse !)
 Le coefficient de corrélation est une mesure de
l'intensité de liaison linéaire entre 2 variables
 Il peut être égal à zéro alors qu'il existe une liaison
fonctionnelle entre les variables

35
Le coefficient de corrélation (de Pearson)

 Il est compris entre -1 et 1

 1  rx,y  1

 r = +1, la liaison entre X et Y est linéaire, positive et

parfaite c.-à-d. la connaissance de X nous fournit la
valeur de Y (et inversement).
 r = -1, la liaison est linéaire négative et parfaite.
 Il existe un test pour déterminer si ce coefficient est
significativement différent de 0

36
Coefficient de
corrélation R=0,97 R=-0,93

Exemples de
coefficients de
corrélation
R=0,0057

R=0,59

R=-0,07 R=NA

37
Interprétation de r
 Le coefficient de corrélation sert avant tout à caractériser une relation linéaire
positive ou négative.
 Il s'agit d'une mesure symétrique. Plus il est proche de 1 (en valeur absolue),
plus la relation est forte.
 r = 0 indique l'absence de corrélation linéaire.
 La valeur de r n'a pas de signification intrinsèque. En revanche, son carré r²,
que l'on appelle coefficient de détermination, s'interprète comme la
proportion de variance de Y linéairement expliquée par X.
 Ainsi, r = 0,9 : on voit que la liaison est forte, puisqu'elle se rapproche de 1.
C'est tout. En revanche, avec r²=0,81 on peut dire que 81% de la variance
de Y est expliquée par X

38
Exemple de calcul de r

Voir fichier Excel : feuille [Link]

39
1.3.2 le Khi-deux c²
Objectif : analyser la liaison entre deux variables
qualitatives
 Il existe plusieurs tests du Khi-deux (c²) :
 test d’indépendance (utilisé ici)
 test d’ajustement
 test d’homogénéité
 Test statistique qui va permettre de se prononcer sur le lien
entre deux variables qualitatives
 C'est une mesure de la distance numérique entre des
effectifs observés et des effectifs théoriques d’un tableau
de contingence

40
La procédure
 Vérifier condition d’application
 hypothèse d'indépendance :
On fait l'hypothèse qu'il y a une relation d'indépendance entre les lignes et les
colonnes du tableau
 Calculer le c² (calculé) :
 tableau des effectifs théoriques
 tableau des écarts à l'indépendance.
 Lire le c² théorique dans la table
 Si c² calculé > c² théorique rejeter de l'hypothèse
d'indépendance.
 Interpréter les résultats en examinant le tableau d'origine et le
tableau des écarts à l'indépendance

41
Exemple calcul du c²
 Soit la répartition d’une population selon deux
variables : Achète le produit x Tranche d’âge
Distribution observée (ou empirique) : Oij
Tranche d'âge
Moins de De 30 à 50 50 ans et
30 ans ans plus Total
Souvent 58 50 43 151
Achète le
produit A

De temps en
32 33 31 96
temps
Jamais 10 17 26 53
Total 100 100 100 300

Conditions d’applications : aucune case du tableau

n’a un effectif < 5 donc le test du c² est applicable

42
Calcul de la distribution théorique
Tranche d'âge
Moins de De 30 à 50 50 ans et
30 ans ans plus Total
Souvent 58 50 43 151
ni.  n. j

Achète le
produit A
De temps
Ei, j  en temps
32 33 31 96
n
Jamais 10 17 26 53
Total 100 100 100 300

151  100
E1,1   50,33 Tranche d'âge
300 Moins de De 30 à 50 50 ans et
Eij 30 ans ans plus Total
Souvent 50,33 50,33 50,33 151
Achète le
produit A
De temps
32 32 32 96
en temps
Jamais 17,66 17,66 17,66 53
Total 100 100 100 300
La distribution théorique c’est donc …

43
Tableau des écarts à l’indépendance
Tranche d'âge
(Oij  Eij )2 Moins de De 30 à 50 50 ans et
 30 ans ans plus Total
Eij Souvent 1,16777 0,00221 1,06843

Achète le
produit A
De temps en
0,00000 0,03125 0,03125
temps
Jamais 3,32704 0,02516 3,93082
Total 9,58393

(58  50,33 )2
 1,1677 (Oij  Eij )2
50,33 cCalculé
2
   9,58393
i j Eij

Le principe du Test est de comparer ce c2 calculé à un c2 lu dans une table

44
Construction du Test

 Lorsque l'on réalise le test, on fait l'hypothèse qu'il n'y a pas de

différence significative entre le tableau empirique(Oi,j) et le
tableau Théorique (Ei,j).
 C'est l'hypothèse d'indépendance (appelée hypothèse nulle ou
H0).
 À l'issue du test on se prononce sur l'acceptation ou le rejet de
cette hypothèse d'indépendance.
 Si c²(calculé)> c²(lu) on rejette l’hypothèse d’indépendance
 Si on ne peut pas accepter l'hypothèse d'indépendance quelle est
la probabilité de se tromper ? La table de la loi de c² nous permet
d'évaluer cette probabilité.

45
Lecture du c² théorique
 Détermination du degré de liberté :
 DDL=(nbre de lignes -1)x(nbre de colonnes -1)
 Ici DDL =(3-1)x(3-1)=4
 Lecture dans la table du c2:
 La ligne est donnée par le degré de liberté
 La colonne donne la probabilité de trouver un khi² supérieur à la valeur
lue.
 Ici pour un DDL=4 on a 5% de chance de trouver un
c²(lu)>9,488
 On a ici c²(calculé)> c²(lu) donc on a 95% de chance d’avoir un
dépendance entre les lignes et les colonnes du tableau
 Voir fichier [Link], onglet Khi-deux

46
Étude du tableau des écarts à l’indépendance
Le tableau des écarts permet également de déterminer les
modalités les plus contributives à cette dépendance
Tranche d'âge
Moins de De 30 à 50 50 ans et
30 ans ans plus Total
Souvent 1,16777 0,00221 1,06843
Achète le
produit A
De temps en
0,00000 0,03125 0,03125
temps
Jamais 3,32704 0,02516 3,93082
Total 9,58393

C’est donc dans ces cases qu’il y a le plus d’écart entre la

distribution théorique et la distribution observée

47
 Tranche d'âge
Moins de De 30 à 50 50 ans et
30 ans ans plus Total
Souvent 58 50 43 151

Achète le
produit A
Distribution De temps
32 33 31 96
en temps
observée
Jamais 10 17 26 53
Total 100 100 100 300
Tranche d'âge
Moins de De 30 à 50 50 ans et
30 ans ans plus Total
Distribution Souvent 50,33 50,33 50,33 151
Théorique

Achète le
produit A
De temps
32 32 32 96
en temps
Jamais 17,66 17,66 17,66 53
Total 100 100 100 300

C’est donc plutôt chez ceux qui n’achètent jamais le produit qu’il y a
des différences d’âge : Il y a plus de « 50 ans et plus » qui
n’achètent jamais le produit que des « moins de 30 ans »

Voir Fichier Khi².xls pour faire des simulations avec ce tableau

48
Les autres mesures d’association
 Le T de Tschupprow c2
C’est le c² ramené à son degré de liberté. T
n r  1s  1
Varie entre 0 et 1
0 : indépendance totale
1 : dépendance totale
 Le V de Cramer
c2
Le V de Cramer est la racine carrée du c² V 2
divisé par le c² max. cmax
Le c² max est égal à l’effectif multiplié par le c2
plus petit côté du tableau (nombre de lignes 
n  min( r, s)  1
ou de colonnes) moins 1.
Par exemple un tableau de 2 × 3 avec un effectif
de 100 a pour χ² max 100 × (2 – 1) = 100.

49
1.3.3 L’analyse de la variance (ANOVA)
Objectif : analyser le lien (ou l’incidence) d’une variable
qualitative sur une variable quantitative.
Généralisation du test de différence de moyennes (test t)
entre deux groupes
Objectif : elle permet de savoir s'il existe des différences
significatives entre plusieurs échantillons.
Comment : comparaison des moyennes et des variances des
différents groupes pour identifier des variations entre eux.
Si on étudie l’influence d’une variable quali sur une quanti
alors ANOVA à un facteur
Si deux variables qualitatives ou plus alors ANOVA à deux
facteurs.
50
Conditions d’application
 Echantillons indépendants
Dans le cas d’échantillons dépendants (ex une même
personne interrogée plusieurs fois= alors possibilité d’analyse
de la variance avec mesures répétées
 La distribution de la variable quantitative suit une loi
normale (surtout pour les petits échantillons)
 Hypothèse d’homoscédasticité (la variance est homogène
dans les groupes)
 Utilisation des tests post-hoc pour déterminer quel groupe
influence

51
 Exemple ANOVA à un facteur

Cas A : les valeurs des groupes respectifs ne Cas B : la variance à l'intérieur des
s'écartent que légèrement de la moyenne du groupe, groupes est importante.
la variance au sein des groupes est donc très faible. La variance entre les groupes est faible.
La variance entre les centre de groupe est importante. Les moyennes des groupes sont proches
Les moyennes sont très différentes d’un groupe à
l’autre
52
Principe (analyse à un facteur)
Décomposition de la Variance

53
 On pose l’hypothèse (H0) que les moyennes entre les
groupes sont égales contre l’hypothèse H1 : les moyennes
sont différentes
 Carrés Moyens : on divise chaque Somme des carrées par
son degrè de liberté (DDL) : nombre de groupes (k)-1 pour
SCF et nombre d’individus (n)-1 pour SCR
Soit CMF=SCF/(k-1) et CMR=SCR/(n-1)

54
 Tableau d’ANOVA :

C (p value) : Si p-value < 0,05 alors on rejette H(0)

=> les moyennes entre les groupes sont différentes
Donc le facteur (la variable qualitative) a une influence sur le la variable quantitative
55
Conclusion Module 1
Les différentes méthodes de l’analyse des données se basent
sur des critères qui dépendent :
 De l’objectif
 Du type d’analyse (mode Q ou mode R)
 Du type des variables caractérisant les individus

56
Fin du module 1

57