Machine Learning
[Link] Vector Machines
Année universitaire 2023-2024 SMI S6
Plan
⚫ Introduction
⚫ Apprentissage supervisé
◦ Régression linéaire
◦ Régression logistique
◦ KNN
◦ Naïve Bayes
◦ Random forrest
◦ SVM
◦ Réseaux de neurones
SMI S6 2023-2024 2
Plan
⚫ Introduction
⚫ Apprentissage supervisé
◦ Régression linéaire
◦ Régression logistique
◦ KNN
◦ Naïve Bayes
◦ Random forrest
◦ SVM
◦ Réseaux de neurones
SMI S6 2023- 3
2024
IN TRO D U C T IO N
Rappel
⚫ Apprentissage supervisé
◦ Le plus fréquemment utilisé
◦ L’apprentissage se fait en se basant sur des données
labélisées (i.e. pour lesquelles la valeur à prédire est
déjà connue)
🞄 Régression : la variable à prédire est quantitative
continue
🞄 Classement :la variable à prédire est qualitative
SMI S6 2023-2024 5
Rappel
⚫ Apprentissage supervisé
◦ Régression
🞄 Prédiction du nombre de vente d’un produit pour les
prochaines semaines
🞄 Prédiction de l’âge d’une personne en se basant sur sa photo
◦ Classement
🞄 Prédiction si une transaction bancaire est frauduleuse ou pas
🞄 Prédiction de la nature d’une tumeur
🞄 Prédiction si un email est un spam ou pas SMI S6 2023-2024 6
Rappel
⚫ Apprentissage supervisé
◦ Régression
🞄 Régression linéaire, Arbres de décision, Régression
polynomiale, Régression rigide, Régression lasso, Réseaux de
neurones
◦ Classement
🞄 Arbres de décision, KNN, Régression logistique, Naïve
Bayes,S V M ,Réseaux de neurones
SMI S6 2023-2024 7
S U P P O RT V E C TOR
MACHINES
SVM
⚫ Machines à vecteurs de support ou Séparateur
àVaste Marge
⚫ Basé sur les travaux deVapnik en 1995
⚫ Objectif
◦ Trouver l’hyperplan qui sépare linéairement les
observations appartenant aux deux classes à
discriminerA et B
9
SVM
B1
Une solution possible Une 2e solution
B2
10
Tan, Steinbach, Kumar, Eick, “NN-classifiers and Support Vector Machines“
SVM
Une infinité de solutions possibles!
B2
11
Tan, Steinbach, Kumar, Eick, “NN-classifiers and Support Vector Machines“
SVM
B1
B1 ou B2?
B2
12
Tan, Steinbach, Kumar, Eick, “NN-classifiers and Support Vector Machines“
SVM
⚫ B1 ou B2? B1
L’hyperplan qui a
la plus grande
marge aura plus
probablement b21
une meilleure b22
performance i.e.
plus robuste margin b11
b12
13
Tan, Steinbach, Kumar, Eick, “NN-classifiers and Support Vector Machines“
SVM
⚫ B1 ou B2? B1
Retenir l’hyperplan qui
maximise la marge
Séparateur à
B2
vaste marge
b21
b22
margin b11
b12
14
Tan, Steinbach, Kumar, Eick, “NN-classifiers and Support Vector Machines“
SVM
⚫ B1 ou B2? B1
◦ Les points sur
lesquels
« s’appuient » les B2
droites marges b21
b22
sont les vecteurs
supports
margin
b11
(support vectors)
b12
15
Tan, Steinbach, Kumar, Eick, “NN-classifiers and Support Vector Machines“
SVM
⚫ Chercher l’hyperplan optimal chercher
l’hyperplan d’équation a . x + b = 0 (. dénote le
produit scalaire) qui satisfait les deux conditions
suivantes:
1. a.x + b > 0 ssi x A et a.x + b ≤ 0 ssi x B
2. Il est le plus loin possible de toutes les observations
([Link])
◦ Distance d’une observation x à l’hyperplan =
SMI S6 2023- 16
2024
SVM
⚫ a.x + b = 1 et
a.x + b = -1
peuvent être
simplifiés en:
y(a.x + b) = 1
SMI S6 2023- 18
Tan, Steinbach, Kumar, Eick, “NN-classifiers and Support Vector Machines“
2024
SVM
⚫ La résolution du problème aboutit à la fonction
◦ Si f(x) > 0 alors x A (y = 1)
◦ Si f(x) ≤ 0 alors x B (y = -1)
SMI S6 2023- 18
Stéphane Tufféry, « Data mining et statistique décisionnelle », TECHNIP, 2010
2024
Supervised Learning: Support Vector Machine (SVM)
Regularisation C.
Avantages des SVM
⚫ Robustesse des modèles obtenus
⚫ Peu affecté par les points aberrants
⚫ Capacité à traiter un grand nombre de variables ou
quand le nb variables >> nb observations
⚫ Capacité à modéliser les phénomènes non linéaires
⚫ Paramétrage permet un certain contrôle
(paramètres C et )
20
Inconvénients des SVM
⚫ Difficulté à fixer les bonnes valeurs des paramètres
⚫ Opacité des modèles obtenus (notamment pour les
noyaux non linéaires)
⚫ Difficulté à traiter les grands datasets (m≥100.000 ;
privilégier la régression logistique)
⚫ Temps de calculs assez longs
21