INF5063 Machine Learning :

algorithmes et applications

1 - Introduction
Lionel PREVOST, Directeur de Recherche LDR Lab
([Link]@[Link] )
1
Organisation
• Face à face :
• 15h : algorithmes de ML : cours et TP (L. Prevost)
• 12h : applications du ML : cours et TP (L. Benedetti)

• Contrôle des connaissances :

• Rapports de TP
• Examen ou projet

2
Plan du cours (L. Prevost)
Introduction :
- apprentissage machine pour l’aide à la décision : exemples, principes,
objectifs, mesures de performances
- bonnes pratiques et « recettes »
Apprentissage :
- discrimination linéaire (perceptron, SVM)
- discrimination non linéaire (k-NN, MLP, kernel SVM, Decision tree)
- modèles génératifs (GMM, VAE)

3
Données : exemples
• Parole / Ecriture
- Données : (signal, (transcription))
- But : reconnaître le signal
- Critère : #mots correctement reconnus
• Biométrie
- Données : (image, (identité))
- But : vérifier l’identité
- Critère : #faussaires

4
(…)
• Maintenance prédictive
- Données : (état capteurs + alarmes, (diagnostic))
- But : diagnostic
- Critère : ?

• Assurance, banque, biomédical, … voir les entrepôts de données :

- UCI machine learning repository

- Kaggle

5
 Formalisation
• Exemple = Observation (+ signification)

• Observation : vecteur aléatoire X=(x1, x2,… xD )

• xi : caractéristiques, descripteurs, variables explicatives, features
• D : dimension de l’espace de représentation

• Signification : yi

• yi réel : variable quantitative → régression variable à expliquer/prédire

• yi entier : variable qualitative → discrimination/classification vérité terrain, classe

6
Base de données
• Matrice de dimension (DxN) (#dimension x #exemples)
X1 X2 X3 … XN
x11 x21 x31 … xN1
x12 x22 x32 … xN2
…

x1D x2D x3D xND

• Signification :
y1 y2 y3 yN

7
Apprentissage : de l’humain à la machine

8
Plus concrètement

1. Il existe un «motif sous-jacent» à apprendre/découvrir

- la (mesure de) performance peut être améliorée
2. Mais pas de définition (facilement) programmable
- ML est nécessaire
3. Il existe des données sur le problème
- ML peut apprendre à partir de ces données 9
Fun time

10
(…)

11
Différents types d’apprentissage

Les 4 grandes familles de problèmes d’apprentissage :

• Supervisé
• Non supervisé
• Semi-supervisé
• Renforcement

12
Apprentissage supervisé
Ensemble d'apprentissage constitué de couples (entrée X, sortie désirée yd)
→ Objectif : apprendre à associer les entrées aux sorties
→ Utilisation : classification, ranking, (régression)

13
Principe
Base d'apprentissage constituée de couples (observation Xi, signification yi)

→ Il existe une fonction f inconnue (appartenant à une famille de fonctions

F) réalisant l’association entre les entrées Xi et les sorties yi.

→ L’apprentissage vise à trouver une fonction hypothèse h (appartenant à

une famille de fonctions H), le plus proche possible de f et minimisant une
fonction de perte (Loss = mean squarred error / (cross) entropy).

L(𝑦ෝ𝑖 , 𝑦𝑖 )
Sortie effective Sortie désirée
14
Apprentissage PAC
Cadre PAC (Probablement Approximativement Correct) : l’apprentissage
est consistant si l’apprenant fait (très probablement) au mieux de son
possible quand la taille K de l’échantillon tend vers l’infini

Risque Risque réel : R(h,S K) →

K → inf R(h*)

Risque empirique en apprentissage : Rˆ (h,S K) →

K → inf R(h*)

R(h,S K)
inf R(h*)
Rˆ (h,S K)

K
Comment estimer le risque réel ?
Sur quelles données ?
15
Apprentissage/validation/test
Séparer la base de données en trois corpus1 :

Base d’apprentissage = estimation des paramètres de la fonction

hypothèse h (exemple : poids d’un réseau)

Base de Validation : contrôle des performances en généralisation

→ Estimation du risque réel

Base de test = capacité de l’algorithme à classer les données non apprises

→ Performances opérationnelles
1 distribués suivant une même loi
16
Mesure de performances : cas multiclasse

facteur de #(𝑋\y=𝑦𝑑 )
qualité
TR =
𝑁

% TR : taux de reconnaissance étude des

% TE : taux d’erreur
TE = 1 - TR
confusions
% Tr : taux de rejet
critères de rejet

17
Fun time

Compute the error rate on training set for each classifier:

18
Bibliographie
- Apprentissage artificiel, Concepts et algorithmes, A. Cornuéjols et L. Miclet, Ed.
Eyrolles

- Apprentissage statistique, P. Gallinari & al., Master Big Data, UPMC

- Apprentissage statistique, M. Fromont, Master Stat, Univ. Rennes 2

- Pattern Recognition & Machine Learning, C. M. Bishop

- [Link]

19