ANALYSE STATISTIQUE

5DMSOP

Par Yves TAMEU

DEA en Finance

DESS en Marketing
 La Valeur
Économique du
Client (VÉC)
 Changement de
philosophie
Focus: “produit”" Focus: “client”"
Attirer le consommateur" Rétention du consomm. "
Transactions" Relations"
Biens" Services"
Profitabilité du produit" Gestion des clients"

Élément essentiel: frais d’acquisition

(attirer) vs frais de maintien
(conserver).! Un impact sur
l’intelligence d’affaires:
Intérêt pour la VÉC.!
Définition de la VÉC
 Aujourd’hui Dans 1 mois Dans 2 mois

Valeur, en date d’aujourd’hui, des profits tirés des

achats futurs du client.
Définition de la VÉC
Tient compte de 3 éléments:
1. Profits (marges) sur les achats (volume) futurs d’un client
2. Rétention du client
3. Facteur de valeur présente
(1$ aujourd’hui vaut plus que 1$ l’an prochain)

Réten-­­ Valeur
VÉC Profit présente
­ tion
Trois véhicules assurés
 André, 65 ans Bianka, 35 ans Colin, 21 ans

Retraité Bianka et sa famille. Aime la vitesse

Conduit peu et Conducteurs 2 accidents à son
responsables
prudemment actif
Aucun accident en 5
Aucun accident en 5
ans
ans
Prime annuelle: 400$ Prime annuelle: 550$ Prime annuelle: 1300$

Calcul du profit
Réclamations prédites !
 André Bianka
Colin
Prime 400$ 550$
1300$
Réclamations 250$ 325$
1000$
Autres frais 100$ 150$
200$
Profit 50$ 75$
100$
Profit (5 ans) 250$ 375$
500$
 VÉC: profit x rétention
Rétention prédite !

André (96%) Bianka (80%)

Colin (69%)
VÉC an1 50$
75$ 100$
VÉC an2 48$
60$ 69$
VÉC an3 46$
48$ 48$
VÉC an4 44$
38$ 33$
VÉC an5 42$
31$ 23$
VÉC Tot. 231$
252$ 272$
 Impact des frais
d’acquisition
Sans frais Avec frais d’acquisition
d’acquisition
VÉC 300

250

200

150

100

50

0
1 2 3 4 5
-­­
­50
-­­
­100
-­­
­150
-­­
­200
Années Années
 VÉC: récapitulation

André Bianka Colin

Profit 5 ans 250$ 375$ 500$
VÉC (incl. rétention) 231$ 252$ 272$
VÉC (incl. rétention et frais 212$ 170$ 158$
d’acquisition)

L’analyse prédictive
nous donne un portrait
différent !
Utilisations
• Solliciter les segments à forte VÉC
• Meilleure valorisation des segments de marché
• Identifier les actions qui augmentent la rétention
(donc la VÉC)
• Réagir aux changements ([Link]. suite à un accident,
un déménagement, etc.)
• …
 Objectifs de l’analyse statistique prédictive

• Outils pour prédire

• Données pour construire un prédicteur
• Utiliser le prédicteur sur de nouveaux cas
• Généraliser le mieux possible sur les nouveaux cas
• Évaluer et comparer les prédicteurs

Notions Discutées
• Données, variables: entrées vs cibles
• Étapes de l’analyse prédictive
• Probabilité et espérance

• Classification, régression, prédiction de proba

• Exemples d’algorithmes prédictifs
• Prétraitement des données – data plumbing
• Généralisation à de nouveau cas: erreur de test
• Sélection de modèles, hyper-paramètres
• Split des données
 Exemple: achat enligne

e.g. t=montant que le client

dépensera dans ceee session

On commence avec
des données
e.g. x1=temps passédepuis dernier achat
(normalisé)
x2=montant desachats passés normalisé)
x3=a déjàvisité le site (
x4=vient de Montréal, etc.
Etapes pratiques d’unprojet
d’analyse prédictive
 Probabilité et Espérance
Aléas: achète ou n’achète pas?

Proba: proportion de succès

attendue si on répétait
l’expérience

• Variable aléatoire: chaque valeur →→ probabilité o  v.a.

discrète: achète (oui) ou pas (non)?

o  v.a. continue: montant de l’achat?

• Espérance d’une v.a.: moyenne des valeurs, pondérée par la probabilité

des évènements possibles
Entrées et sorties d’un prédicteur
 Sortie f(X) Cible Y
Entrée X six
deux!
Apprendre à partir d’exemples

Image en
entrée

“surprise” “joie” “peur” Catégoriecible

Associe deux types de variables aléatoires, e.g.,

•  Entrée = Image (e.g. intensités des pixels)
• Cible = Catégorie (e.g., émotions à détecter)
Prédire une catégorie
• Un prédicteur est entraîné à produire à partir d’une
entrée une sortie qui est une prédiction pour une
cible associée à cette entrée

Sortie:
predicteur

“fear”Émotionprédite =
triste Erreur=1=1

Entrée: image “anger”Cible:

Émotion à prédire = colère
• La sortie (prédiction) est comparée avec la cible
pour calculer une erreur (0 ou 1). Le but de
l’entraînement est de réduire l’espérance des
erreurs futures.

Prédire une quantité:

régression
(ici: non linéaire, avec bruit)
bruit

e.g.: x=montant passé, y = montant futur (ventes)

L’algorithme des plus-­­­proches-­­­voisins

(k-­­­NN)
 Pour un point test x: x"[2]"

• On trouve les k plus k=3

proches voisins de x parmi
l’ensemble x?
d’apprentissage
(typiquement selon la #
distance Euclidienne).
#
• On associe à x la classe
majoritaire parmi ses k
voisins

Montant achats passés x"[1]"

• k est un hyper-paramètre

Régression Linéaire Régularisée

• Régression linéaire: prédiction = combinaison linéaire des entrées.
 Prédic
tion W0 W1 âge W2 achats

• Apprentissage = trouver les coefficients w

• Régression linéaire classique: il faut que les entrées ne soient pas
corrélées, il faut éviter d’avoir trop de variables d’entrée
• Régression linéaire régularisée (pénalité L2): règle ces problèmes
(on peut avoir autant d’entrées qu’on veut mais leurs poids seront
forcés à être plus petits par la régularisation).
• On mesure l’erreur quadratique: (prédiction – cible)2

Modèles non-­­­linéaires
Algorithmes Tâches Commentaires
Réseaux de Classification, peut soutenir des millions d’exemples
neurones régression (premier choix dans ce cas)
Arbres de décision Classification prédiction très rapide
Support Vector Classification ok jusqu’à 100k exemples; linéaire si
Machine (SVM) nombre de variables est immense

Boosting Classification peu d’hyperparamètres (boutons

ajustables)
Gaussian Process Régression Premier choix quand moins de 1000
Regression exemples

Prétraitement des données

1. Nettoyage des données
 (détecter semi-automatiquement et
corriger les valeurs bizarres)
2. Imputation de valeurs manquantes
3. Encodage des données (selon l’algo
d’apprentissage)
• Normalisation des variables réelles
(soustraire moyenne, diviser par écart
type)
• Optionellement discrétisation de
variables numériques choisies.
• Représentation one-hot des
variables catégoriques onehot5(3) =
(0,0,1,0,0)
Généralisation à de nouveaux cas

• On peut facilement mettre au point un prédicteur qui

donne exactement les bonnes réponses sur les données
d’apprentissage.

• Pas garanti de bonnes prédictions sur

de nouveaux cas, et c’est seulement
ça qui nous intéresse.

• L’erreur d’apprentissage (sur

l’ensemble de données
d’apprentissage) est toujours optimiste

• On veut estimer l’erreur de généralisation: ensemble de test

(non utilisé pour apprendre).
 • On veut choisir le modèle qui généralise le mieux.

Modélisation: sélection de modèles

• Plusieurs algos d’apprentissage.

• Pour chaque algo, plusieurs choix de valeurs de ses
hyper-paramètres
(ex. nb de voisins k dans k-NN, nb de neurones dans
un réseau de neurones, ...)

Pour chaque cas, on va entraîner un modèle puis

évaluer sa performance de généralisation (en test).
 Sélection de modèle: contrôle de la
capacité
• Les hyper-paramètres des algorithmes permettent de contrôler
la capacité du modèle.

• C’est indispensable pour avoir une bonne généralisation.

capacité trop faible capacité trop élevée capacité optimale ➩sous-

apprentissage ➩sur-apprentissage ➩bonne généralisation

La performance sur l’ensemble d’entraînement n’est pas un bon estimé

de la généralisation
 Split des données
Diviser les gros ensembles de données en 3:
1. Données d’entraînement pour estimer les
paramètres des modèles
2. Données de validation pour évaluer l’impact de
divers choix de modèles et hyper-paramètres
3. Données de test (jamais utilisées pour autre chose)
pour évaluer la généralisation ‘comme sur le terrain’

Train: 70% Valid: 15% Test: 15%

Sélection de modèle et hyper-­­
­paramètres
L’évaluation de performance finale s’effectue sur des données qui n’ont servi ni
pour l’entrainement ni pour la sélection de modèles ou de capacité.

Optimisation de
l’allocation
d’effectifs en
fonction de la
profitabilité
Contexte
•  Chaîne de commerce au détail o 
Vêtements et/ou accessoires
o  Plusieurs centaines de boutiques mondialement
o  Généralement, 5–15 employés en boutique
 Plan général
Prévision de la courbe de demande

Nb optimal d’employé/15 min. (fractionnaire)

Création des horaires

Contraintes ergonomiques Normes du travail

Création des quarts de travail

Employés spécifiques Préférences des

employés

43
 Types de données

44
 Nb d’employés sur le plancher
à chaque moment (données
Nb de clients en magasin à de paye)"
chaque moment
(compte-personnes)"

Autres variables: événements

spéciaux (boxing day, ventes,
Historique des
grèves), météo (tempêtes, 1er
Transactions réalisées"
beau week-end de l’année) "

45
 Équation du profit

46
 Ventes
Profit x Salaires
Marge

47
Décomposition des ventes
(période)

Taux de Panier
Ventes Trafic
conversion moyen

Nb de clients qui Proportion des Quantité achetée,

entrent en magasin" clients qui achètent sachant qu’il y a un
48
quelque chose" achat"
 Architecture de
modélisation
Ventes Profit Employés

Trafic

Variables

Conversion et
QoS
Panier moyen
Modèles possibles
 • Trafic et panier moyen:
problèmes de régression
o  Réponses approximativement continues pour trafic
o  Modèles possibles (par ex.):
• Linéaire,
• Linéaire généralisé (GLM)
• Réseau de neurones (non-linéaire)

• Taux de conversion: estimation

de probabilité conditionnelle
o  Réponse: fraction entre 0 et 1
o  Modèles possibles:
• Régression logistique
• Réseau de neurones
Optimisation: courbe de
demande

Meilleur compromis
entre qualité de service
et masse salariale"

Personne-heures travaillées"
40
Défi: Météo
• Impact quasi universel sur le
commerce au détail
• Les historiques de météo sont
relativement faciles à trouver (et
gratuit en général, p.e.
Environnement Canada)
• Plus difficile à trouver: historique
des prévisions
Conclusions
➢➢  La conception de l’architecture de
modélisation dépend des données disponibles
➢➢  On doit s’assurer que l’analyse prédictive “colle”au
processus opérationnel
 Etapes pratiques d’unprojet
d’analyse prédictive
Vision haut-­­­
niveau d’un
projet complet
 Ce qu’on peut prédire
• Probabilité d’un évènement oui/non
(le client clique, achète, quitte, etc)

• Probabilité d’appartenir à une catégorie

(groupe démographique, type de produit acheté)

• Espérance d’une variable continue

(temps entre deux évènements, valeur du client, montant
payé, montant perdu, …)

• Densité de probabilité d’une variable continue

Proportionnelle à la probabilité de trouver environ une
certaine valeur, e.g. on peut calculer la probabilité qu’une
variable continue soit dans un intervalle choisi
QUESTIONNAIRE
1. Secteur de votre organisation pouvant
bénéficier?
2. Organisation et accès aux données?
3. Variables d’entrée et cible à prédire?
4. Type des variables cible?
5. Utilisation des prédictions?
6. Décisions directes ou prédictions de probabilités?
7. Combien de données?
8. Les données changent dans le temps?
9. Contraintes de temps de calcul?
10. Comment mesurer l’utilité économique?
BACKUP
 Sous-­­­problèmes
Contraintes de
Données Données qualité de service
historiques" temps réel"

Prévision des Dimensionnement

besoins: •  Nb d’employés pour
•  Achalandage répondre au besoin
•  Temps requis/client

Courbe de
demande
d’effectifs47
 Assurances générales
Profits,
Ratio Sinistres/primes Dépenses, 5%

Sinistres / Primes 20%

Volume d’affaires
Total des primes
Rétention Sinistres,
- pour une fenêtre de temps donnée 75%
- pourcentage de renouvellement (env. 90%)
- mesure indépendante du client

Mesures rétrospectives vs prédictives.

Buts:
- identifier les profils des consommateurs fidèles
 - identifier les actions qui impactent la rétention

Steps towards a CLV

model
1 Choose definition
- upselling: can you trace a customer’s business ?
- cross selling:is there a unique key across products ?
- switchers: can you match profiles through time ?
- new entrants: what do you know of your prospects ?

2 Make assumptions
- for each client, project
- profits or
- revenues and expenses
 important: recognize acquisition expenses -
discounting factor based on cost of capital
- retention models can be based on survival analysis
- horizon, e.g. 5 years

Steps towards a CLV

model
3  Build database for survival analysis
- initial profile with length of stay
(SAS procs: lifetest, lifereg, phreg)
- data “plumbing” : cleaning and encoding
 unobserved

truncated

fully observed

censored

unobserved

start end

Steps towards a CLV

model
4 Modelling
- design modelling experiment
- train models
 - select best performing models
5 Enjoy!
- CLV-based comparison of market segments
- CLV-based valuation of retention increases
- Prioritization of outgoing agent calls
- Prioritization of marketing offers
Rétention: analyse
prédictive
 André: 96% Bianka: 80%
Colin: 69%

Rétention 1 100,0%
100,0% 100,0
Rétention 2 96,0%
80,0% 69,0%

Rétention 3 92,2%
(96%*96% ) 64,0% 47,6%

Rétention 4 88,5%
(92,2%*96%) 51,2% 32,9%
Rétention 5 84,9%
(88,5%*96%) 41,0% 22,7%

%
Frais d’acquisition de
250$
 André Bianka (150$) Colin (200$)
(100$)
Frais 1 300$
350$ 400
Frais 2 50$
100$ 150
Frais 3 50$
100$ 150
Frais 4 50$
100$ 150
Frais 5 50$ $
100$ 150 $
$
$
$
Profits
 André (50$) Bianka (75$) Colin (100$)

Frais 1 (150$)
(125$) (100$)
Frais 2 100$
125$ 150
Frais 3 100$
125$ 150
Frais 4 100$
125$ 150
 Frais 5 100$ $
125$ 150
$

$
$
Focus « client » ?
1. Autres véhicules du même client
[Link].: le 2e véhicule d’André

2. Autres produits d’assurance du même

client
[Link].: les biens de Colin (assurance habitation)

3. Autres produits financiers:

[Link].: le prêt hypothécaire de
Bianka

4. Autres clients du ménage:

[Link].: la voiture du conjoint de Bianka
Avantages du focus client
1. Définir la croissance potentielle de la
relation en fonction
• De notre “wallet share” actuel
• Des besoins futurs (Colin vs André)

2. Tenir compte des interactions entre les différents

produits
• La rétention pour un produit est supérieure si d’autres
produits sont présents.
• Les consommateurs bougent plusieurs produits en
même temps
Défis au niveau des données
1. Bases de données historiques de la clientèle pour
estimer la rétention (arrivées et départs des clients).

2. Estimation précise des frais dans le temps et par

segment.

3. Croiser les bases de données de différents produits

([Link].: assurance habitation et automobile).
4. Données externes
• socio-démo avec Statistique Canada,
• cotes de crédit FICO,
• météo avec environnement Canada.
• social: Facebook, Twitter, Linkedin, etc.
Conclusions
1. La VÉC permet d’analyser l’ensemble de la
relation avec un client, à plus long terme.
2. Deux éléments importants interagissent:
• Frais d’acquisition
• Rétention

3. La définition du client joue un rôle majeur.

4. L’intelligence d’affaires devra permettre

l’intégration efficace d’un nombre croissant de
sources de données externes.
VÉC: profit x rétention
 $

$
André Bianka Colin
$
VÉC 1 (150$) 50$ (125$) 75$ (100$) 100

48$ 60$ 69 $
VÉC 2 96$ 100$ 104$
VÉC 3 92$ 46$ $
80$ 48$
$
71$ 48

VÉC 4 88$ 44$ 64$ 38$ 49$ 33

VÉC 5 85$ 42$ 51$ 31$ 34$ 23

VÉC Tot. 212$ 231$ 170$ 252$ 158$ 272

Pour la prédiction de séries temporelles:
validation séquentielle
Défi: Données de trafic
• Les données de trafic sont
habituellement captées avec des
compte-personnes
(« people counter »)

• Servent aussi à la prévention des

vols

• Fréquent: compteurs
unidirectionnels
o  Impossible de dire si la
personne entre ou sort
• Difficile de déterminer le nombre
total de personnes en magasin à chaque moment
 Nombre d’horaires possibles
Le nombre d’horaires possibles
croît extrêmement rapidement en
fonction du nombre d’employés"
"
On ne peut vérifier chaque
horaire individuellement."

62