Apprentissage statistique

Évaluation de modèles

December 24, 2024

Apprentissage statistique December 24, 2024 1 / 44

Plan

1 Approche par partitionnement training set testing set

2 Validation Croisée

3 Stratified Cross-Validation (SCV)

4 Sélection de modèle

5 Évaluation en classification supervisée

1 Approche par partitionnement training set testing set

2 Validation Croisée

3 Stratified Cross-Validation (SCV)

4 Sélection de modèle

5 Évaluation en classification supervisée

Apprentissage statistique December 24, 2024 3 / 44

1 Supposons que l’on ajuste un modèle fˆ(x) sur les données
d’apprentissage Dn = {(x1 , y1 ), . . . , (xn , yn )}
2 Le risque empirique d’un algorithme fˆ construit sur Dn est défini par
n
1X
R̂n (fˆ) = ℓ(yi , fˆ(xi ))
n
i=1

3 Comment peut-on mesurer la performance d’un modèle sur des

données inconnues ?

Apprentissage statistique December 24, 2024 4 / 44

Approche par ensemble de test
1 Cette méthode propose de partitionner aléatoirement l’échantillon
d’apprentissage en deux (voir figure 1) : un ensemble d’entraı̂nement
et un ensemble de test. Le modèle est ajusté sur l’ensemble
d’entraı̂nement, et on l’utilise ensuite pour prédire les réponses sur
l’échantillon de test. L’erreur obtenue en comparant prédiction et
observation sur cet échantillon de validation approche l’erreur de test.
On utilise typiquement des moindres carrés (MSE) en régression et
des taux de mauvaises classification si la réponse est qualitative (ou
une fonction de coût d’erreur)

2 Voir la fonction de Python [Link]

Erreur de Test
1 Découpage aléatoire Dn = Dtrain ∪ Dtest avec Dtrain ∩ Dtest = ϕ
2 Le modèle est ajusté sur l’ensemble d’entraı̂nement Dtrain
3 Evaluer la performance du modèle sur Dtest en calculant
1 X
R̂Dtest (fˆ) = ℓ(yi , fˆ(xi ))
|Dtest |
(xi ,yi )∈Dtest
Approche par ensemble de test

Algorithme (hold-out validation)

input : A sous ensemble de {1, . . . , n}, définissant l’ensemble
d’apprentissage
input : V sous ensemble de {1, . . . , n}, définissant l’ensemble de test
début
construire le modèle (la règle) de prédiction fˆDA sur

DA = {(xi , yi ), i ∈ A}
1
ℓ(yi , fˆDA (xi ))
P
output : Card(V) i∈V

Apprentissage statistique December 24, 2024 7 / 44

Inconvénients de l’approche par ensemble de test
1 Nous n’avons utilisé qu’une partie du jeu de données pour entraı̂ner,
et qu’une partie pour tester ! Et si nous avions par hasard créé un jeu
de test vraiment difficile - ou vraiment facile - à prédire ?
L’estimation de la performance serait biaisée !
2 L’estimation obtenue par cette méthode peut être très variable, et
dépend de la chance ou malchance dans la construction du
sous-échantillon de test.
3 Par ailleurs, moins on a de données, moins bien on apprend. Ne
sommes-nous donc pas en train de créer des modèles moins bons,
juste pour pouvoir les valider ?
4 La mise de côté des données de test réduit le nombre de données
utilisées pour l’apprentissage. Cet estimateur du risque espéré a une
variance élevée (un autre partitionnement produira d’autres ensembles
d’apprentissage et de test)
Déjà mieux : échanger les rôles entraı̂nement-validation et faire la
moyenne des deux erreurs obtenues. On croise les rôles.
Exemple

À gauche : l’illustration de l’erreur de test obtenue avec une seule partition

aléatoire du jeu de données en apprentissage-test. À droite : l’illustration
de la variabilité de l’erreur de test d’une partition aléatoire
1 Approche par partitionnement training set testing set

2 Validation Croisée

3 Stratified Cross-Validation (SCV)

4 Sélection de modèle

5 Évaluation en classification supervisée

Apprentissage statistique December 24, 2024 10 / 44

Cross validation

1 La validation croisée (cross validation) va nous permettre d’utiliser

l’intégralité de notre jeu de données pour l’entraı̂nement et pour la
validation
2 Plusieurs partitionnements apprentissage-test, obtenir à chaque fois
un modèle sur les données d’apprentissage et l’évaluer sur les données
de test associées, employer la moyenne comme estimation du risque
espéré
⇒ estimateur de variance plus faible,
. . . tout en utilisant mieux les données disponibles !

Apprentissage statistique December 24, 2024 11 / 44

Méthodes exhaustives
1 Leave p out (LPO) : n − p données pour l’apprentissage et p pour la
validation ⇒ Cnp découpages possibles donc Cnp modèles à apprendre
⇒ coût excessif.
Algorithme de validation croisée leave p out)
input : p inférieur à n
début
construire V1 , . . . , Vm avec m = Cnp
pour k = 1, . . . , m faire
déterminer Ak = {1, . . . , n}\Vk
construire construire le modèle (la règle) de prédiction
fˆDAk sur DAk = {(xi , yi ), i ∈ Ak }
calculer Rk = p1 i∈Vk ℓ(yi , fˆDAk (xi ))
P

output : m1 m
P
k=1 Rk
Remarque : Temps de calcul très long hormis pour p = 1 (ou
p = 2)
2 Leave one out (LOO) : n − 1 données pour l’apprentissage et 1 pour
la validation ⇒ Cn1 = n découpages possibles (donc n modèles) ⇒
coût excessif
Méthodes non exhaustives

1 Échantillonnage répété (shuffle and split) : échantillon aléatoire de p

données pour le test (les autres n − p pour l’apprentissage), on répète
cela k fois) ⇒ k modèles. Cette méthode présente le désavantage de
trouver certaines données dans plusieurs ensembles de validation
différents alors que d’autres ne seront présentes dans aucun
échantillon.
2 k-fold Généralement lorsqu’on parle de cross-validation, l’on réfère à
sa variante la plus populaire qu’est le k-fold cross-validation
On découpe le jeu de données en k parties (folds en anglais) à peu
près égales. Tour à tour, chacune des k parties est utilisée comme jeu
de test. Le reste (autrement dit, l’union des k − 1 autres parties) est
utilisé pour l’entraı̂nement. Avec cette méthode, on s’assure que
chaque point de notre dataset a servi une fois au moins au test et à
l’entrainement, tout en respectant le principe selon lequel on ne fait
pas de test que des données qui ont servi à l’entrainement
Cross validation exemple 5-fold
Cross validation k-fold

1 Chaque observation a servi une fois dans un jeu de test, (k − 1) fois

dans un jeu d’entraı̂nement. Nous avons donc une prédiction par
observation dans notre jeu de données initial, et aucune de ces
prédictions n’a été faite avec un jeu de données d’entraı̂nement qui
contienne ce point.
2 Nous pouvons finalement rapporter la performance de mon modèle :
soit en évaluant les prédictions faites sur l’ensemble des données
(puisque nous avons fait une prédiction par point du jeu de données
complet) ;
soit en moyennant les performances obtenues sur les k folds;
3 En pratique, on choisit le plus souvent k = 5 ou k = 10.
4 Dans scikit-learn, la méthode model [Link] permet de créer
les folds d’une validation croisée.

Apprentissage statistique December 24, 2024 15 / 44

Validation croisée : quelle méthode préférer ?

1 LPO très rarement employée car excessivement coûteuse

2 LOO vs k-fold : k-fold préférée en général
LOO plus coûteuse car n >> k
Estimation k-fold pessimiste car chaque modèle apprend sur
(k−1)n
k < n−1 données
3 Shuffle and split vs k-fold
Pour k-fold le nombre de modèles (k) est lié à la proportion de données
de test (1/k), shuffle and split moins contraignante
Pour shuffle and split certaines données ne sont dans aucun échantillon
alors que d’autres sont dans plusieurs échantillons.
4 Quelle que soit la méthode, tous les partitionnements peuvent être
explorés en parallèle (sur processeurs multi-coeur ou plateformes
distribuées)

Apprentissage statistique December 24, 2024 16 / 44

1 Approche par partitionnement training set testing set

2 Validation Croisée

3 Stratified Cross-Validation (SCV)

4 Sélection de modèle

5 Évaluation en classification supervisée

Apprentissage statistique December 24, 2024 17 / 44

Stratification

1 Prenons un exemple de classification de 3 classes. Le vecteur y qui

représente les labels dans ce projet est comme suit :
y = [0, 0, 0, 1, 1, 1, 2, 2, 2]
2 Et donc, si on faisait un 3-fold cross-validation (
[0, 0, 0], [1, 1, 1], [2, 2, 2]), notre modèle s’entraı̂nera uniquement sur 2
classes et sera testé sur des données d’une classe qu’elle n’a jamais vu.
3 On a là un gros risque de mauvaise performance qui est dû à la
disposition de nos données. Nous souhaitons que chaque classe soit
représenté dans chaque partie ou fold lors d’une validation croisée.

Apprentissage statistique December 24, 2024 18 / 44

Stratification

Dans le cas d’un problème de classification on s’efforce généralement de

créer les k folds de sorte à ce qu’elles contiennent à peu près les mêmes
proportions d’exemples de chaque classe que le jeu de données complet.
On cherche à éviter qu’un jeu d’entraı̂nement ne contiennent pas que des
exemples d’une classe donnée et que le jeu de test correspondant ne
contienne que des exemples d’une classe absente dans le jeu
d’entraı̂nement, ce qui va affecter négativement la performance du modèle.

C’est pour cela qu’on opte pour un SCV dans ce cas. Avec un SCV, on
aura donc les folds suivants : [0, 1, 2], [0, 1, 2], [0, 1, 2] au lieu de
[0, 0, 0], [1, 1, 1], [2, 2, 2] lors d’un simple 3-fold cross-validation.

Apprentissage statistique December 24, 2024 19 / 44

Stratification

1 Au moment de l’apprentissage (et non pas de l’évaluation), on peut

compenser le déséquilibre entre les classes dans le jeu d’entraı̂nement
en utilisant une méthode de ré-échantillonnage: on tire aléatoirement
parmi la classe majoritaire autant d’observations que dans la classe
minoritaire, ce qui crée un jeu équilibré, opération que l’on répète de
nombreuses fois. On crée ainsi plusieurs modèles, que l’on peut
ensuite combiner en moyennant leurs scores ou en choisissant
l’étiquette la plus fréquemment prédite.
2 Un partitionnement adapté pour la méthode k-fold, par exemple
model [Link] dans scikit-learn.
3 Un échantillonnage stratifié pour la méthode shuffle and split, par
exemple model [Link] dans scikit-learn.

Apprentissage statistique December 24, 2024 20 / 44

précaution cross-validation

L’utilisation de la validation croisée pour les problèmes dans lesquels les

observations ne sont pas indépendantes impose des précautions :
1 Dans le cas des séries temporelles, les observations successives sont
corrélées. Le découpage doit alors être fait par séquences (permettant
de conserver un historique local) sur les observations ordonnées et
non après shuffle sur les observations individuelles.
2 Dans le cas des données groupées, à l’intérieur d’un même groupe les
observations ne sont pas indépendantes. Les données de test doivent
alors provenir de groupes différents de ceux dont sont issues les
données d’apprentissage.

Apprentissage statistique December 24, 2024 21 / 44

1 Approche par partitionnement training set testing set

2 Validation Croisée

3 Stratified Cross-Validation (SCV)

4 Sélection de modèle

5 Évaluation en classification supervisée

Apprentissage statistique December 24, 2024 22 / 44

Sélection de modèle

Jusqu’à présent, nous avons parlé de l’évaluation de la performance d’un

seul modèle. Mais, généralement, nous voulons essayer plusieurs modèles
pour choisir le plus performant, et ensuite donner sa performance.

Attention ! Il ne suffit pas de faire une validation croisée sur l’ensemble

des données, pour chaque modèle, puis de donner la meilleure performance
obtenue. En effet, en faisant ça, nous utilisons les données de test pour
choisir le modèle. Il y a un risque de sur-apprentissage.

Apprentissage statistique December 24, 2024 23 / 44

Sélection de modèle

1 Il faut séparer les données en trois parties : un jeu d’entraı̂nement,

un jeu de validation et un jeu de test. Le jeu d’entraı̂nement sert à
entraı̂ner divers modèles. Le jeu de validation sert à sélectionner un
modèle : on choisit celui qui a la meilleure performance sur ce jeu.
Enfin, le jeu de test sert à estimer la performance en généralisation du
modèle.
2 Alternativement, au lieu de créer un jeu d’entraı̂nement et un jeu de
validation, on peut séparer les données uniquement en deux parties :
un jeu d’entraı̂nement et un jeu de test. On fera ensuite une
validation croisée sur le jeu d’entraı̂nement. Cela nous permet de
choisir un modèle (celui qui a la meilleure performance), que l’on va
ensuite entraı̂ner sur la totalité du jeu d’entraı̂nement, puis tester sur
le jeu de test

Apprentissage statistique December 24, 2024 24 / 44

1 Approche par partitionnement training set testing set

2 Validation Croisée

3 Stratified Cross-Validation (SCV)

4 Sélection de modèle

5 Évaluation en classification supervisée

Apprentissage statistique December 24, 2024 25 / 44

1 Nous allons maintenant nous concentrer sur les modèles de
classification : on utilise des données étiquetées pour prédire à quelle
classe un objet appartient. Nous allons tout d’abord parler de
classification binaire, où il s’agit de distinguer si un objet appartient
ou non à une classe. Par exemple, dire si une image représente une
girafe ou non. Si oui, on dit que cette image est positive ; sinon,
qu’elle est négative.
2 Jusqu’à présent en évaluant des modèles de classification, nous avons
utilisé le nombre d’erreurs comme mesure de performance (fonction
de perte 0−1). Mais ce n’est pas le seul critère ! En effet, toutes
les erreurs ne se valent pas.
3 Prenons un algorithme qui prédit s’il y a un incendie à un endroit
donné. Déclencher une alerte incendie quand il n’y a pas le feu
est moins grave que de ne pas déclencher d’alerte quand
l’appartement est en flamme.

Apprentissage statistique December 24, 2024 26 / 44

Matrice de confusion

1 Une classe peut être considérée comme la classe d’intérêt(exemple

la classe correspondant à un incendie)
2 Le modèle appris est vu comme le détecteur de la classe d’intérêt
3 Pour un tel détecteur appris, les cas suivants peuvent être constatés :

Classe prédite + Classe prédite -

Classe réelle + TP FN
Classe réelle - FP TN

4 TP = True Positive (Vrais positifs) = Nombre d’individus bien

prédits dans la classe à juste titre
5 FP = False Positive (Faux positifs) = Nombre d’individus prédits
dans la classe alors qu’ils ne devraient pas en faire partie
6 FN = False Negative (Faux négatifs) = Nombre d’individus
prédits comme étant de la classe alors qu’ils ne le sont pas en vrais
Matrice de confusion

1 TN = True Negative (Vrais négatifs) = Nombre d’individus

prédits comme n’étant pas dans la classe à juste titre

Apprentissage statistique December 24, 2024 28 / 44

Indicateurs principaux
Les indicateurs suivants sont communément utilisés pour évaluer la
performance des modèles de classification :
Indicateur Formule Interprétation
TP+TN
Accuracy Ac = TP+TN+FP+FN Performance globale du
modèle
TP
Precision Pr = TP+FP À quel point les
prédictions positives
sont précises
TP
Se = TP+FN Taux de vrais positifs
Rappel(Sensibilité)
TN
Sp = TN+FP Taux de vrais négatifs
Spécificité
(1+β 2 )×Pr ×Se
Fβ -Score Fβ = β 2 ×Pr +Se
Indicateur hybride
utilisé pour les classes
non-balancées
Indicateurs principaux
exemple du détecteur d’incendie : appelons ”positive” la classe
correspondant à un incendie et ”négative” l’autre.
1 Le rappel (”recall” en anglais), ou sensibilité (”sensitivity” en
anglais), est le taux de vrais positifs, c’est à dire la proportion de
positifs que l’on a correctement identifiés. C’est la capacité de notre
modèle à détecter tous les incendies.
2 La précision est la proportion de prédictions correctes parmi les points
que l’on a prédits positifs. C’est la capacité de notre modèle à ne
déclencher d’alarme que pour un vrai incendie.
3 En anglais on distingue ”precision” et ”accuracy” (la proportion de
points correctement prédits) ; en français il n’y a pas de bonne
traduction qui différencie les deux . . .
4 La ”F-mesure” est utilisée pour évaluer un compromis entre rappel et
précision. C’est leur moyenne harmonique.
5 Toutes ces mesures de performance sont disponibles dans le module
metrics de scikit-learn.
Balance Precision et Rappel

1 F-mesure est également connue sous le nom F1 -Score. La Precision et

le Rappel sont pondérés de façon égale.
2 × Pr × Se 2TP
F-mesure = =
Pr + Se 2TP + FP + FN
2 Fβ -Score (β > 0). Changer la valeur de β pour changer la
pondération Precision Rappel.
3 Typiquement β = 2 : plus de poids pour le Rappel,
4 β = 0.5 : plus de poids pour la Precision.

Apprentissage statistique December 24, 2024 31 / 44

Classification multi-classe
Généralisation du cas binaire sous forme d’exercice
1 Nous souhaitons créer un modèle statistique permettant de prédire le
temps qu’il fait dehors en fonction de relevés météorologiques. Les
individus statistiques sont les villes, les variables explicatives sont des
relevés de température, pression atmosphérique, luminosité et les
classes à prédire sont ”pluie”, ”beau temps” et ”neige”.
2 Admettons que nous avons créer le modèle statistique avec les
données d’apprentissage et on a prédit les classes des données de
tests. On va donc croiser ces données et obtenir une matrice de ce
genre :
Pluie Beau Temps Neige
Pluie 31 1 9
BeauTemps 6 23 8
Neige 5 6 32
3 En ligne, on lit les labels des individus et en colonne les labels prédits
par le modèle.
Classification multi-classe

1 Calculer la performance globale du modèle

2 Calculer la précision pour chaque classe
3 Calculer la sensibilité pour chaque classe
4 Calculer la spécificité pour chaque classe

Apprentissage statistique December 24, 2024 33 / 44

Courbe ROC

1 On se place dans d’une variable de sortie binaire à 2 modalités 1, 2

2 La classe 1 sera la ”classe d’intérêt”, l’événement dont la prédiction
sera condidérée comme ”positive”
3 On associe souvent un score (une note) à une entrée x qui sera
d’autant plus grand que la probabilité qu’elle appartienne à la classe 1
est grande. Ce score est donc souvent définit par :
1 la probabilité à posteriori d’appartenir à la classe 1 sachant x :

P(Y = 1|X = x)

2 ou encore le logit de p qui transforme les probabilités sur ]0, 1[ en

évidence sur R :
p
logit(p) = log( )
1−p

Apprentissage statistique December 24, 2024 34 / 44

Courbe ROC et critère AUC

1 Pour définir une règle de classification à partir du score, il faut fixer

un seuil. Par exemple :
affecter x à la classe 1 si p ≥ 0.5
ou encore affecter x à la classe 1 si logit(p) ≥ 0.
2 Si on modifie le seuil, on modifie la règle de classification, la matrice
de confusion, et donc tous les indicateurs présentés précédemment
(taux d’erreur, spécificité, sensibilité . . .).
3 On mesure souvent visuellement et numériquement de l’efficacité d’un
score indépendamment du choix du seuil :
1 à partir de la courbe ROC (Receiver Operating Characteristic) et de
l’AUC (area under the curve)
2 à partir de la courbe LIFT et de l’indice de Gini.
4 Comment évoluent le taux de vrais positifs Se et le taux de vrais
négatifs Sp lorsque le seuil augmente ?

Apprentissage statistique December 24, 2024 35 / 44

construction courbe ROC
1 Le taux de vrais positifs Se et le taux de faux positifs 1 − Sp
dépendent du choix du seuil s:
1 Se (s) donne le taux de vrais positifs obtenu avec un seuil s,
2 1 − Sp (s) donne le taux de faux positifs obtenu avec le même seuil
2 La courbe ROC relie les points (1 − Sp (s), Se (s)) obtenus en faisant
varier s.
3 Pour construire cette courbe, on construit une grille de seuils et on
calcule pour chaque seuil s : Se (s) et 1 − Sp (s).
4 Interprétation de cette courbe. Si cette courbe coı̈ncide avec la
diagonale, c’est que le score n’est pas plus performant qu’un modèle
aléatoire (où on attribue la classe au hasard)
5 Plus la courbe ROC s’approche du coin supérieur gauche, meilleur est
le modèle, car il permet de capturer le plus possible de vrais positifs
avec le moins possible de faux positifs.
6 En conséquence, l’aire sous la courbe ROC, appelée critère AUC,
peut être vu comme une mesure de la qualité du score. Ce critère
AUC varie entre 0 (cas le pire) et 1 (cas le meilleur).
Illustration graphique Courbe ROC et AUC

Figure: Exemples de courbes ROC

Illustration graphique Courbe ROC et AUC

Figure: Exemples de courbes ROC

Courbe ROC

Choix d’un seuil

1 On utilise parfois la courbe ROC pour choisir un seuil. En pratique,
on peut prendre le seuil correspondant au point de la courbe la plus
éloigné de la première bissectrice et le plus prêt du point supérieur
gauche (0, 1). Ou encore le seuil correspondant au point où la pente
de la courbe est la plus proche de 0
2 Mais on peut également choisir le seuil qui optimise un critère de
performance comme le taux d’erreur, le risque empirique, la F-mesure
...
1 Courbe ROC en Python : voir la fonction [Link] curve

Apprentissage statistique December 24, 2024 39 / 44

Exercice

Prenons un exemple pour mieux comprendre comment construire cette

courbe. Nous avons 6 observations, pour lesquelles notre classifieur a
retourné les scores suivants ( on ordonne ici les observations par leur
score):

Etiquette + - + + - -
Score 0.99 0.95 0.51 0.45 0.10 0.01

Construire la courbe ROC de ce classifieur en prenant successivement un

seuil s tel que s > 0.99, s ∈]0.95, 0.99], s ∈]0.51, 0.95], s ∈]0.45, 0.51],
s ∈]0.1, 0.45], s ∈]0.01, 0.10] et s ≤ 0.01.
NB : Le modèle prédit + si Score ≥ s et − sinon.

Apprentissage statistique December 24, 2024 40 / 44

Correction

Figure: Se = TP/P, 1 − Sp = FP/P

Et voilà la courbe ROC correspondante !

AUC (Area Under the Curve)

1 AUCROC signifie ”aire sous la courbe ROC”. Cette valeur mesure

l’intégralité de l’aire à deux dimensions située sous l’ensemble de la
courbe ROC (par calculs d’intégrales) de (0, 0) à (1, 1).
2 L’AUROC permet de résumer la courbe ROC en un seul nombre :
l’aire sous cette courbe.
3 Un classifieur parfait a une AUROC de 1 ; un classifieur aléatoire, une
AUROC de 0.5
4 L’AUCROC est invariante d’échelle. Elle mesure la qualité du
classement des prédictions, plutôt que leurs valeurs absolues.
5 L’AUCROC est indépendante des seuils de classification. Elle mesure
la qualité des précisions du modèle quel que soit le seuil de
classification sélectionné.
6 Calcul de l’AUCROC sur Python : [Link]
AUC

Figure: AUCROC (aire sous la courbe ROC)

Apprentissage statistique December 24, 2024 43 / 44

Autres courbes

1 PR Curve : la courbe précision-rappel (précision en ordonnée et

rappel en abscisse).
Pour le seuil le plus élevé, la précision n’est pas définie car aucune
observation n’est prédite positive . . . Par convention, on choisira
souvent une précision de 1 si la première observation à considérer est
positive, et une précision de 0 sinon.
2 Courbe lift : surtout utilisée dans le ciblage marketing, se construit
aussi en parcourant le jeu de données ordonné par score. On
représente en abscisse la fraction du jeu de données parcourue, et en
ordonnée le taux de vrais positifs.

Apprentissage statistique December 24, 2024 44 / 44