1.

Non supervisé – regroupement, réduction de dimension

a. Les données d’entrainment ne contiennent pas d’étiquettes, on doit apprendre
les structure sousjacent les données et ajuste les paramètres pour minimiser la
fonction perte
b. Regroupement
i. Système de recommandation
ii. marché cible
iii. segmentation des clients
c. Réduction de dimension
i. compression significative(meaning)
ii. découverte de structure
iii. visualisation de données massives
iv. sélection de caractéristiques
v. stockage et traitement plus faciles des données
vi. complexité computationnelle (temps et espace)
2. Supervisé
a. Les données d’entrainement continnent les etiquettes, entrainez un modele de
classe d’hypothese, adjuster les parametres pour minimiser la fonction de perte.
b. Classification
i. -"Image classification" se traduit par "classification d'images".
ii. - "Customer retention" se traduit par "fidélisation de la clientèle".
iii. - "Identity fraud detection" se traduit par "détection de fraude
d'identité".
iv. - "Diagnostic" se traduit également par "diagnostic".
c. régression
i. "Advertising popularity prediction" se traduit par "prédiction de la
popularité publicitaire".
ii. "Weather forecasting" se traduit par "prévision météo".
iii. "Market forecasting" se traduit par "prévision du marché"
iv. - "Population growth prediction" se traduit par "prédiction de la
croissance démographique".
v. "Estimating life expectancy" se traduit par "estimation de l'espérance de
vie".
3. La régression linéaire
a. Une technique de modélisation statistique pour établir une rélation linéaire entre
une variable dépendante (la variable que l’on cherche à prédire) et une ou
plusieurs variable indépendantes (les variables d’entrée ou caractéristiques).
b. La gradient indique la direction de la descente la plus rapide
c. Etape
i. Caractéristiques (entrées) : x
ii. Exemples d'entraînement : de nombreux x(i) pour lesquels y(i) est connu
(par exemple, de nombreux films pour lesquels nous connaissons la note)
 iii. Un modèle : une fonction f qui représente la relation entre x et y
iv. Une fonction de perte: Évalue à quel point les prédictions d’un modèle
correspondent aux valeurs réelles
v. Optimisation : une manière de trouver les paramètres de notre modèle
qui minimise la fonction de perte.
d. Il y a deux problèmes de régression linéaire pour la classification.
i. Le premier est qu'elle ne peut pas prédire lorsque \( y \) est probabiliste
ii. le deuxième problème est qu'elle est sensible aux données
déséquilibrées.
4. Optimisation de la régression linéaire
a. Approche 1 : Descente de gradient (ou Batch GD)
i. Chaque fois, prendre de plus grands pas dans la direction opposée du
gradient de l’ensemble des données
ii. La convergence:
1. Utilise la norme L2 du gradient avec une petite tolérance
2. Verifie la réduction de la fonction de perte d’une itération à la
suivante
iii. Avantages :
1. La conception est simple
2. La convergence est garantie
iv. Inconvénients :
1. Traiter par ensembles
2. Il est souvent lent à converger
b. Approche 2 : Descente de gradient stochastique (ou Incremental GD)
i. Chaque fois prendre de nombreux petits pas dans la direction opposée du
gradient en utilisant un seul échantillon de l'ensemble d'entraînement
ii. Avantages :
1. efficace mémoire
2. convergence rapide
3. moins sujet aux optima locaux
iii. Inconvénients : la convergence en pratique nécessite l'ajustement des
hyperparamètres
iv. Si notre modèle linéaire n’est pas satisfaisant, on peut le rendre plus
complexe en définissant des variables d’entrée qui sont des combinaisons
des composantes de x comme polynomiale
c. Approche 3 : Solution en forme fermée
i. Mettre les dérivées égales à zéro et résoudre pour les paramètres.
ii. La régression linéaire des moindre carrés
iii. Avantages : algorithme en une seule passe !
iv. Inconvénients : ne marche pas pour des grands ensembles de données
5. La régression logistique
a. Est une technique utilisé pour la classification
b. Pour prédire des variables binaires
c. Comment convertir une expression réelle en une probabilité
 i. Remplacez la fonction sign() par la fonction sigmoide ou logistique
d. Comment ajuster (fit) parametre
i. Distribution de bernoulli: est une distribution de probabilité discrète qui
modélise une variable aléatoire binaire
e. Comment effectuer l'entraînement ?
i. écrire la vraisemblance des paramètres (likelihood)
f. Comment apprendre les paramètres du modèle
i. En maximisant la vraisemblance (estimation de maximum de
vraisemblance): évalue à quel point les paramètres du modèle rendent les
données obsevées plausibles
ii. Comment maximiser la vraisemblance ?
1. Prenez la dérivée et effectuez une ascension de gradient
(problème de maximisation) :
2. Ou prenez le négatif de la fonction de log-vraisemblance et
effectuez une descente de gradient (stochastique).
g. Interprétation probabiliste de la classification
i. Extension à plusieurs classes: Régression softmax etc
ii. Rapide à entraîner
iii. Rapide en classification
iv. Bonne précision pour de nombreux ensembles de données simples
v. Résistant à l'overfitting
1. Régression logistique régularisée
6. La méthode des k plus proches voisins (KNN: k-nearest neighbors)
a. Une technique utilisé pour la classification et la régression
b. Se regrouper selons les similaires des données
c. Deux moyens
i. Prédiction (classification): prédire une class en identifiant les k exemples
d’entraînement les plus proches (les plus similaires)
ii. Prédiction (régression): prédire une valeur continue en moyennant les
valeurs des k voisins
7. Classe d’hypothèses
a. L'espace des fonctions de décision possibles que nous considérons
b. choisi en fonction de nos convictions concernant le problème.
8. Fonction de perte
a. Évalue à quel point les prédictions d’un modèle correspondent aux valeurs
réelles
b. Trouve la fonction f parmi la classe d'hypothèses F qui minimise la perte totale.
c. Pour les problème de régression
i. Erreur quadratique moyenne MSE
ii. Erreur absolue moyenne MAE
d. Pour les problèmes de classification
i. Entropie croisée binaire (binary cross-entroy)
ii. Entropie croisée catégorielle (categorical cross-entropy)
 iii. Hinge loss (les machines à vecteurs de support pour la classication
binaire)
e. Pour les problèmes de séquences (comme dans le cas des réseaux de neurones
récurrents)
i. Perte de perplexité
f. Quadratic Loss (Perte quadratique) :
i. Cette perte amplifie les erreurs plus importantes en raison du carré,
ii. ce qui signifie que les valeurs aberrantes ont un impact plus important sur
la fonction de perte.
iii. Plus rapid mais plus sensible aux valeurs aberrantes
g. Absolute Loss (Perte absolue) :
i. Contrairement à la perte quadratique, cette perte n'amplifie pas les
erreurs.
ii. moins sensible aux valeurs aberrantes.
iii. Rendre l’optimisation plus difficile
h. 0/1 Loss (Perte 0/1) :
i. Mesure si la prédiction est exactement égale à la vraie valeur ou non.
ii. Elle attribue un coût de 1 en cas d'erreur et 0 en cas de prédiction
correcte. Cette perte est souvent utilisée dans le contexte de la
classification binaire.
iii. Pour obtenir des prédictions correctes sans mesurer l’écart précis
9. Risque empirique:
a. En moyennant la fonction de perte sur l'ensemble d'entraînement.
10. Évaluation empirique avec réutilisation d’échantillons
a. - Validation croisée
b. Bootstrap (échantillonnage aléatoire avec remplacement)
11. Generalization Error (Erreur de généralisation) :
a. mesure la performance d'un modèle sur de nouvelles données qui n'ont pas été
utilisées pendant l'entraînement.
b. L'erreur sur l'ensemble de validation est une estimation de l'erreur de
généralisation.
12. Expected Error (Erreur attendue) :**
a. théorique qui représente la performance moyenne attendue d'un modèle sur
toutes les données possibles, compte tenu de la distribution des données.
b. utilisée comme guide pour évaluer la capacité de généralisation d'un modèle.
13. Empirical Error (Erreur empirique) :
a. mesure la performance d'un modèle sur l'ensemble de données d'entraînement..
b. une faible erreur empirique ne garantit pas nécessairement une faible erreur de
généralisation, car le modèle pourrait simplement avoir mémorisé les données
d'entraînement au lieu d'apprendre des motifs sous-jacents.
14. En résumé, l'erreur de généralisation se concentre sur la performance du modèle sur de
nouvelles données, l'erreur attendue représente la performance moyenne théorique, et
l'erreur empirique mesure la performance sur les données d'entraînement.
15. L’Overfitting (Surajustement) :
 a. L'overfitting se produit lorsqu'un modèle s'adapte trop étroitement aux données
d'entraînement, capturant non seulement les motifs réels mais aussi le bruit ou
les fluctuations aléatoires.
b. Utiliser des techniques de régularisation, augmenter la taille de l'ensemble de
données, ou réduire la complexité du modèle.

16. Underfitting (Sous-ajustement) :

a. L'underfitting se produit lorsque le modèle est trop simple pour capturer les
motifs sous-jacents dans les données d'entraînement.
b. Utiliser un modèle plus complexe, augmenter la taille de l'ensemble de données,
ou utiliser des techniques d'optimisation plus avancées.
17. compromis biais-variance
a. MSE (Erreur quadratique moyenne) : composée du biais et de la variance, elle
vise à trouver un équilibre qui minimise à la fois la variance et le biais.
b. "Biais (Bias)
i. Mesure La différence entre la valeur attendue du modèle et la valeur
estimée (sur différents ensembles d'entraînement)."
ii. Un modèle avec un biais élevé a tendance à être tro simple et peut
manquer de représentativité pour des structures complexes dans les
données.
iii. L’underfitting
iv. Un biais élevé  augment des erreurs d'entraînement et de test."
c. Variance :
i. mesure la sensibilité d'un modèle aux variations dans les données
d'entraînement. Écart par rapport à la valeur attendue des estimations.
Un modèle avec une variance élevée est trop sensible aux fluctuations
dans les données d'entraînement et peut capturer même le bruit.
ii. Overfitting
iii. Un variance élevé  faible erreur d'entraînement, mais des erreurs
élevées en test."
18. Les differences entre L'ensemble d'entraînement, validation et test
a. L’ensemble d’entraînement est utilisé pour l'entraînement
b. l'ensemble de validation est utilisé pour calculer l'erreur de prédiction et choisir
un parmi les k modèles
c. l'ensemble de test est utilisé pour estimer l'erreur de généralisation.
19. K-plis validation croisée
a. Étape
i. Diviser l'ensemble d'entraînement en k plis distincts.
ii. Pour chaque pli, s'entraîner sur les (k moins 1) plis restants.
b. Problemes
i. Petit ensemble d'entraînement → estimateur biaisé de l'erreur.
ii. Validation croisée leave-one-out : k = n
1. non biaisé de l'erreur de prédiction attendue.
 2. Variance potentielle élevée (sensitive aux valeurs aberrantes,
instabilité, similarité élevée)
3. Approche computationnellement intense (n répétitions).
iii. En pratique : fixer k=5 ou k=10.
20. La matrice de confusion
a. Utilisé en classification pour évaluer les performances d’un modèle
b. Utile pour les problèmes de classification binaire, mais aussi peut multiclasse
c. Les faux positifs (fausses alertes) : erreurs de type I.
d. Les faux négatifs (omissions): erreurs de type II.
21. La courbe ROC (receiver operation characteristic)
a. Montre le compromis entre la sensibilité TPR (taux de vrai positifs) et FPR(taux
de faux positifs)
b. Aire sous la courbe (AUC – area under the curve)
i. La capacité du modèle à discriminer entre les classes positive et négative
ii. Élévé 
1. + capacité de discrimination et
2. + performance globale du modèle
22. La malédiction de la dimensionnalité :
a. données clairsemées
b. complexité des algorithmes (peut-être inapplicables).
23. Quelle est le rang d'une matrice A ?
a. Le nombre de rangées ou de colonnes linéairement indépendantes de A.
24. Valeurs propres (eigenvalues): Av = lambda v
a. Indiquent l’importance relative de ces directions
25. Vecteurs propres (eigenvectors): v
a. Représentent les directions principales dans lesquelles les données varient le
plus
b. Choisir les plus grandes valeurs propres, on capture la majeure partie de la
variabilité de données
26. Comment effectuer une réduction de dimension avec la SVD ?
a. une technique algébrique qui est utilisé à réduir la dimensionnalité des données
en extraire les composantes les plus importantes d’une matrice. L’algoritheme est
de décompose une matrice en trois matrices (U, Σ, V), mettre les plus petites
valeurs singulières à zéro, choisir des vecteurs basé sur la minimisation de la
somme des erreurs de reconstruction
b. Décompose la matrice originale A en trois matrices : U, qui contient les vecteurs
singuliers gauches de A ; V, qui contient les vecteurs singuliers droits de A ; et Σ,
une matrice diagonale contenant les valeurs singulières triées de manière
décroissante.
c. Les vecteurs singuliers gauches de A sont également les vecteurs propres de la
matrice symétrique A A transposé
d. Les vecteurs singuliers droite de A sont également les vecteurs propres de la
matrice symétrique A transposé A
 e. Les valeurs singulières de A sont les racines carrées des valeurs propres des
matrices A A transposé et A transposé A
f. Combien de vecteurs singuliers faut-il conserver ?
i. En règle générale, conserver 80 % à 90 % de l'énergie des données, soit la
somme des valeurs propres quadratique
27. Analyse en composantes principales (PCA) : z = Xw
a. L'ACP est une méthode statistique qui vise à réduire la dimensionnalité des
données tout en maximisant la variance des données projetées. Elle est souvent
utilisée pour explorer la structure sous-jacente des données.
b. La variance totale expliquée dans les données est trace(Σ) = λ1 + λ2 + ... + λn.
c. Les premières k composantes principales représentent (λ1 + λ2 + ... + λk) / (λ1 +
λ2 + ... + λn).
d. Algorithme :
i. Supposer que les données sont organisées dans une matrice de taille m
par n.
ii. Standardiser la matrice en Soustrayant la moyennes: C = X - M
iii. Calculer la matrice de covariance \(\Sigma = C^T C\) et la variance totale
trace egale la somme des valeurs propres de la matrice de covariance
iv. Choisir un seuil 80% ou 90%
v. Axes principaux : Les k vecteurs propres U[1,...k] de \Sigma correspondant
aux k plus grandes valeurs propres.
vi. Composantes principales : Projeter les données dans le nouvel espace \(C
U[1,...k]\).
e. SVD vs PCA
i. Similarités
1. combien de paires propres (eigenpairs) devrais-je conserver ?
a. 80%-90%
2. L'ACP peut être formulée en termes de SVD, où la SVD est utilisée
pour calculer les composantes principales
3. Les vecteurs singuliers de la SVD correspondent aux vecteurs
propres de la matrice de covariance dans le contexte de l'ACP
4. Les deux méthodes sont liées et sont utilisées pour la réduction de
dimensionnalité et l'analyse des données.
ii. Differences
1. SVD: Trouver un espace de basse dimension tel que la perte
d'information soit minimisée lors de la projection.
2. Vs PCA : Trouver un espace de basse dimension tel que la variance
soit maximisée lors de la projection.
28. Parmi des hypothèses concurrentes (modèles), celle avec le moins d'assumptions devrait
être sélectionnée. – occam’s
29. La régularisation
a. est le processus de pénalisation de la complexité du modèle pendant
l'entraînement.
 b. avec un facteur supplémentaire, appelé terme de régularisation, qui contrôle la
complexité du modèle.
i. Régression Ridge : ajoute un terme de régularisation L2 (paramètres
carrés) à la régression linéaire.
ii. Régression LASSO : ajoute un terme de régularisation L1 (paramètres
absolus)à la régression linéaire.
30. Une regle decision raisonnable: un classificateur linéaire
a. En une dimension, la frontière linéaire est simplement un seuil.
b. En deux dimensions, la frontière linéaire est une ligne.
c. En trois dimensions, la frontière linéaire est un plan.
31. Aim to (vise à), >1 (supérieur à 1), <0 (inférieur à 0)
32. Modèles discriminatifs vs. Modèles génératifs
a. Discriminatif
i. Aucune hypothèse sur la distribution des données
ii. Objectif n’est pas d’apprendre la distribution mais d’apprendre un
prédicteur précis
iii. Ne se préoccupe pas (care about) de la manière dont les données sont
générées
iv. apprendre p (label | data)
b. génératifs
i. étant donné la distribution des données a une forme paramétrique
spécifique
ii. objectif est d’estimer les paramètres du moèle (l’estimation paramétrique
de la densité)
iii. Décrivez comment les données sont générées par d'un modèle
probabiliste
iv. prédisez P(label | data) en fonction de P(data | label)
v. Deux nouveaux classificateurs
1. Naïve Bayes (famille de classificateurs)
a. Classificateur probabiliste
b. Pour otenir la probabilité de la classe conditionnellement
aux caracteristique
i. Suppose que les caractéristiques sont
conditionnellement indépendantes étant donné
l’étiquette
ii. Modélise la distribution des caractéristiques
conditionnellement à la classe
iii. Applique le théorème de Bayes  la probabilité de
la classe conditionnellement aux caractéristique
c. Si la distribution des caractéristiques conditionnellement à
la classe est la distribution gaussian, le classificateur P(x|c)
s’appelle l’analyse discriminante Gaussienne
2. Analyse discriminante linéaire (LDA)
a. Réduction de dimension supervisée et classification
33. MLE (L'estimation du maximum de vraisemblance) vs MAP (Maximum à posteriori)
a. MLE
i. L’objectif de la MLE est de trouver la valeur des paramètres qui maximise
la vraisemblance des données observées
ii. Une estimation sans régularisation
b. MAP
i. L’objectif de la MAP est similaire à celui de la MLE, mais elle prend en
compte une estimation a priori des paramètres
ii. MAP cherche à maximiser la probabilité a posteriori des paramètres en
incorporant une distribution a priori sur ces paramètres
iii. Introduit une régularisation naturelle par l’information a priori
34. LDA
a. Projecte tous les données dans un nouvel espace de dimension inférieure en
maximisant la variance entre les classes et minimisant la variance dans chaque
class
b. Algorithme:
i. Calcule la matrice de dispersion dans chaque classe
ii. Calcule la matrice de dispersion entre les classes
iii. Calcule la matrice W
1. En résolvant les valeurs propres
2. Obtenant les vecteurs propres correspondant aux k-1 plus grandes
valeurs propres (pq k-1: reduire redondance. On peut obentir k
eme direction par 0 moins la somme d’autres directions )
iv. Projecte les données dans le nouvel espace par W et obtenir les résultat
35. LDA vs PCA
a. Similar
i. Reduire la dimension
b. Difference
i. Objectif
1. PCA: maximiser la variance des données projectées sur les
composantes principales. C’est à dire que il cherche à trouver les
axes desquels les données varient le plus
2. LDA: maximiser la variance entres les classes et minimiser la
variance dans chaque classe
ii. Supervision
1. PCA est une technique non supervisée
2. LDA est une technique supervisée. Il prend en compte les
étiquettes de classe pour optimiser la séparation entre les classes
iii. Utilisation dans la classification
1. PCA: La visualisation des données ou pour réduire la
dimensionnalié avant d’appliquer un algorithme de classification
2. LDA: améliore la classification en maximisant la séparation entre
les classes
iv. Nombre de composantes
 1. PCA: le nombre de composantes principales est au plus égal k
2. LDA: le nombre de composantes est au plus égal k-1
36. Un algorithem d’apprentissage non paramétrique vs paramétrique
a. Non paramétrique
i. Les paramètres du modèle n’ont pas de structure
ii. la complexité de modèle augmente avec la quantité de données
b. Paramétrique
i. Le nombre de paramètres du modèle est fixe indépendamment de la
taille des données
37. L’apprentissage basé sur les instance
a. Le modèle mémorise les exemples d’entraînement au lieu de générer un modèle
généralisé
b. Algorithme
i. Stocke l’ensemble des données d’entraînement
ii. Effectue les prédictions en se basant sur la similarité entre les nouvelles
instances et les instances mémorisées
c. Méthodes paresseuses
d. Exemple
i. K-plus proches voisins (KNN)
38. Similarité cosinus (cosine similiarty):
a. Le produit scalaire (dot product) peut être utilisé pour mesurer les similarités
entre les vecteurs.
39. K-NN
a. Choix de k
i. Petit k
1. Décision bruyante
2. Le Biais est faible mais la variance est élevée
ii. Grand k
1. Peut conduire à de meilleures performances de prédiction
2. Intensif en calcul
3. Avec le grand k, on peut considérer un grand nombre de voisins
pour prendre une décision. (inclure des points qui ne sont pas
vraiment proches du point d’intérêt)
4. Cas extrême : définir k égal à m (nombre de points dans
l'ensemble de données)
a. Pour la classification : la classe majoritaire
b. Pour la régression : la valeur moyenne
5. La variance est faible mais le biais n’est pas trop élevé
iii. Comment choisir k
1. Par validation. Croisée en examinant l’erreur de classification
b. Vs la regression linéaire
i. La variance est faible mais le biais est élevé
c. Avantages
i. L’entraînement est rapide
 1. Stocker les exemples d’entraînement
2. Peut utiliser la technique d’indexation intelligentes pour accélérer
les tests
ii. Les données d’entraînement font partie du modèle
1. Utile si on a besoins de utiliser les données d’entraînement
iii. Robuste aux donnêes bruyantes
1. Moyenne des k votes
iv. Peut apprendre des fonctions complexes (implicitement)
d. Inconvénients de kNN
i. besoins en mémoire
1. stocker toutes les données d’entraînement
ii. la prédiction peut-etre lente
1. complexité de donner un étiquette à un nouveau point de
données: O(knm)
2. mais KNN fonctionne mieux avec beaucoup d’échantillons
3. comment améliorer le temps d’exécution
a. les stuctures de données plus efficace comme les arbres K-
D
b. solutions approximatives basées sur le hachage
iii. grand dimension
1. réduction de la dimensionalité
2. besoins de plus de données d’entraînement
e. la frontière de décision
i. la limite qui sépare les différentes classes dans l’espace des
caracteristiques
f. la tessellation de Voronoi
i. une methode pour répresenter la frontière de décision du KNN
ii. chaque point de l’espace est attribué à la classe de son voisin le plus
proche et les limites entre ces régions correspondent à la frontière de
décision
g. les variantes du KNN
i. inclure des ajustements ou des améliorations de l’aglorithme de base
ii. e.g. distance pondérée
1. attribue des poids différents en fonction de la distance
40. la classification basée sur un arbre de décision
a. de manière récursive de haut en bas
b. problème
i. détermine comment diviser les données
1. comment spécifier la condition de test attributaire
2. comment déterminer la meilleure division
ii. déterminer quand arrêter la division
c. Critères d'arrêt
i. Preque tous les données appartiennent à la même classe
ii. Presque tous les données ont des valeurs d’attribut similaires
 d. Avantages
i. Moins cher à construire (phase d'entraînement)
ii. Extrêmement rapide lors de la phase de test (classification de données
non vues)
iii. Facile à interpréter
iv. La précision est comparable à d'autres techniques de classification pour
de nombreux ensembles de données simples
e. Surajustement :
i. Trop de branches, peut-être à cause des anomalies au bruit ou aux
valeurs aberrantes
ii. Deux approches pour éviter le surajustement
1. Pré-élagage :
a. Arrête à diviser si la mesure de qualité est moins d'un seuil
b. Difficile de choisir un seuil approprié
2. Post-élagage : Supprimer des branches d'un arbre entièrement
développé
a. Principe de l'élagage de coût-complexité minimal
b. Utiliser un ensemble de données (différent des données
d'entraînement) pour décider quel est le meilleur arbre
élagué.
41. Méthodes ensemblistes
a. Classification
b. classificateurs d’ensemble: differents classificateur combinées pour classer de
nouveaux exemples
c. Approche la plus simple :
i. Générer plusieurs classificateurs (par exemple, arbres de décision,
régression logistique)
ii. Chaque classificateur vote (décide) sur une instance de test
iii. Prendre la décision majoritaire comme classification
d. Objectif : prendre un algorithme simple et le transformer en un 'super
classificateur'.
e. Étape
i. Créer plusieurs ensembles de données ;
ii. Construire plusieurs classificateurs ;
iii. Combinez les classificateurs
f. Bagging (bootstrap aggregating) vs boosting
i. Stratégie d’entraînement
1. Bagging: Échantille aléatoire avec replacement pour créer
plusieurs ensembles de données (avantage: entraine differents
échaillion, réduisant le surajustement)
2. Boosting: un entraînement sequentiel; donne plus de poids aux
classificateurs plus importants par les classificateurs précédents
ii. Méthode de combinaison
 1. Bagging: les prédiction des différents classificateurs sont formés
sur des ensembles de données differents sont combinées en
moyennant leurs résultats (réduire la variance global du modèle)
2. Boosting: les prédictions des classificateurs sont combinées de
manière pondérée (corriger des erreurs précédentes )
g. Bagging: estimation boostrap
i. Repete l’échantillonnage n de D avec remplacement
ii. Pour chque enseble d’échantillons, estime une statistique
iii. L’estimation boostrap es la moyenne des estimations individuelles
iv. Utilisé pour estimer une statistique (paramètre) et sa variance
v. Pour la régression : moyenne des prédictions
vi. Pour la classification : moyenne des probabilités de classe ou prise de
décision à la majorité
h. Boosting
i. Manipule l’ensemble d’entraînement, mais chaque classificateur
individuels est formé en fonction de la performance des classificateurs
précédemment entraînés
ii. Chaque classificateur est formé en fonction de la performance des
classificateurs précédemment entraînés
iii. Classificateur final : somme pondérée des classificateurs composants
i. AdaBoost
i. Avantage:
1. Obtenir un apprentissage fort qui peut atteindre une erreur
proche de zéro sur les données d’entraînement pour la probleme
a. Supposons que vous ayez un module d'apprentissage
faible (un classificateur de base) qui peut toujours obtenir
0,5 + ε de réponses correctes lorsqu'il est confronté à une
tâche de classification binaire.
i. Up peu meilleur qu'un classificateur aléatoire
ii. Apprentissage faible
ii. Idea
1. Entraîne T modèles faibles seqeuntiellement
2. Au debut, donne les même poids pour chauqe cas
3. Réajuste les poids des données d’entraînement
4. Enfin, utilisez un comité pondéré de tous les modèles pour les
données de test.
42. Machine à vecteurs de support (SVM) à marge rigide
a. Supervisé
b. Objectif : gére un classificateur à marge optimale
i. Separe un hyperplan w avec la marge maximale.
c. Hypothèse: les données sont linéairement séparables (il existe une ligne qui
sépare les deux classes)
d. Marge :
 i. deux fois la distance de l'hyperplan de séparation aux points
d'entraînement les plus proches.
2
ii. Max  min ½ |w|  min ½ |w|^2
|w|
1. ¿ ¿ (si y est une variable binaire -1 et 1 )
e. Comment calculer la marge (largeur) γ ?
i. Hypothese: w est un vecteur normal unitaire (longueur = 1)
ii. La marge est le produit scalaire de ces deux vecteurs.
f. Optimization de Multiplicateurs de Lagrange
i. Minimiser f(w) sous la contrainte
ii. Utiliser la méthode des multiplicateurs de Lagrange.
iii. Comment on trouve n contraintes dans le problème optimal.
1. Mettez la dérivée de la fonction lagrangien par rapport à w égale à
zéro.
2. Dérivée de L par rapport à b.
3. Remettez w dans le Lagrangien L(w, b, α). (probleme dual des
SVM)
a. Seul quand αi n’ont pas zero, et les xi correspondants sont
les vecteurs de support.
4. Apres on obtient α, on peut remettre dans les fonction 2 ou 3
pour calculer les deux variables optimale b et w
43. SVM à marge souple
a. Données non linéairement séparables
b. La fonction de perte
i. Trouve un compromis entre une grande marge et peu d’erreurs
1
1. min + C ×error (f )
margin(f )
ii. On peut utilise la fonction perte Hinge (pénalise les points qui se trouvent
du mauvais côté de la frontière de décision ou à l’intérieur de la marge)
iii. On utilise variable d’écart (slack variable) pour gérer les situations où les
données ne sont pas parfaitement séparables par un hyperplan
iv. C: le paramètre de régularisation
1. Représente le compromis entre atteindre une faible erreur
d’entraînement et reduire la complexité du modèle
2. Grand C:
a. minimisation de l’erreur d’entraînement
b. conduire à un surajustement
c. plus sensible aux points de données individuels
3. petit C:
a. plus dominant: le terme de régularisation
b. privilégie une marge plus grande et la simplicité
c. sous-ajustement
44. non linéaire : SVM à noyau
a. la condition d’un noyau
 i. symétrique
ii. quand les données sont positive semi-définie, la matrice d’un noyau est
positive semi-définie
b. algorithem
i. un noyau est une transformation qui mappe les donnée dans un certain
espace de caracteristiques
ii. tourve une frontière de décision linéaire dans l’espace de caractéristiques
c. avantage
i. éviter le mappage explicite kernel(xi) en calculant directement le produit
scalaire via la fonction noyau (reduire le cout computationnellement)
d. K est un noyau si et seulement si il est positif défini(multiplié par n’importe quel
vecteur non nul, produit un produit scalaire strictement positif de ce vecteur
avec lui-même X T A X
e. Avantages :
i. Les noyaux permettent des hypothèses très flexibles.
ii. Des méthodes d'optimisation exactes en temps polynomial
iii. L'extension de la marge souple permet des exemples mal classés.
f. Inconvénients :
i. Il faut choisir les paramètres du noyau.
g. Résumé - SVM (Support Vector Machines) :
i. Cas linéairement séparable : SVM à marge stricte (hard-margin SVM).
ii. Cas non séparable, mais toujours linéaire : SVM à marge souple (soft-
margin SVM).
iii. Cas non linéaire : SVM avec noyau (kernel SVM).
1. Les noyaux sont utilisés pour :
a. Données réelles
b. Chaînes de caractères
c. Graphes