1.

Non supervisé – regroupement, réduction de dimension

a. Les données d’entrainment ne contiennent pas d’étiquettes, on doit apprendre
les structure sousjacent les données et ajuste les paramètres pour minimiser la
fonction perte et après appliquer pour les nouvelles données.
b. Regroupement (cluster): une collection d’objets de données
i. Subjetif
ii. Similaire dans la même groupe (cluster)
iii. Dissimilaire entre les groupes
iv. Analyse de regroupement
1. Trouve des similitudes selons des caractéristiques
2. Regrouper des objects de données similaires en clusters
v. Applications typiques
1. L’oubtil autonome pour mieux comprendre les données
2. Prétraite les données
vi. Il n'y a pas de vérité fondamentale. Comment évaluons-nous la qualité
d'un algorithme de regroupement ?
1. Selons la forme des clusters :
a. Similitude dans les groupes et distinction entre les groupes
2. Selons e la stabilité des clusters :
a. Si on supprime certains points de données ou ajoute du
bruit etc, on peut otenir les mêmes résultats
3. Selons des connaissances du domaine
a. Les clusters devraient avoir du sens.
[Link]
1. Système de recommandation
2. marché cible
3. segmentation des clients
viii. approche
1. Approche de partitionnement
a. Construire diverses partitions non chevauchant (non
overlapping)
b. et les évaluer selon un critère, par exemple, en minimisant
la somme des erreurs quadratiques.
c. Méthodes typiques : k-means, k-medoids.
2. Approche hiérarchique
a. Les clusters peuvent avoir des sous-clusters
b. Ensemble de clusters imbriqués (nested), organisés sous
forme d'arbre.
c. Méthodes typiques : Diana, Agnes, BIRCH, CHAMELEON.
3. Approche basée sur la densité
a. Basée sur la connectivité et les fonctions de densité.
b. Méthodes typiques : DBSCAN, OPTICS, DenClue.
 4. Approche basée sur une grille
a. Basée sur une structure de granularité à plusieurs niveaux.
b. Méthodes typiques : STING, WaveCluster, CLIQUE.
c. Réduction de dimension
i. compression significative(meaning)
ii. découverte de structure
iii. visualisation de données massives
iv. sélection de caractéristiques
v. stockage et traitement plus faciles des données
vi. complexité computationnelle (temps et espace)
2. Supervisé
a. Les données d’entrainement continnent les etiquettes, entrainez un modele de
classe d’hypothese, adjuster les parametres pour minimiser la fonction de perte
et après appliquer pour les nouvelle données.
b. Classification
i. -"Image classification" se traduit par "classification d'images".
ii. - "Customer retention" se traduit par "fidélisation de la clientèle".
iii. - "Identity fraud detection" se traduit par "détection de fraude
d'identité".
iv. - "Diagnostic" se traduit également par "diagnostic".
c. régression
i. "Advertising popularity prediction" se traduit par "prédiction de la
popularité publicitaire".
ii. "Weather forecasting" se traduit par "prévision météo".
iii. "Market forecasting" se traduit par "prévision du marché"
iv. - "Population growth prediction" se traduit par "prédiction de la
croissance démographique".
v. "Estimating life expectancy" se traduit par "estimation de l'espérance de
vie".
3. La régression linéaire
a. Une technique de modélisation statistique pour établir une rélation linéaire entre
une variable dépendante (la variable que l’on cherche à prédire) et une ou
plusieurs variable indépendantes (les variables d’entrée ou caractéristiques).
b. La gradient indique la direction de la descente la plus rapide
c. Etape
i. Caractéristiques (entrées) : x
ii. Exemples d'entraînement : de nombreux x(i) pour lesquels y(i) est connu
(par exemple, de nombreux films pour lesquels nous connaissons la note)
iii. Un modèle : une fonction f qui représente la relation entre x et y
iv. Une fonction de perte: Évalue à quel point les prédictions d’un modèle
correspondent aux valeurs réelles
v. Optimisation : une manière de trouver les paramètres de notre modèle
qui minimise la fonction de perte.
d. Il y a deux problèmes de régression linéaire pour la classification.
 i. Le premier est qu'elle ne peut pas prédire lorsque \( y \) est probabiliste
ii. le deuxième problème est qu'elle est sensible aux données
déséquilibrées.
4. Optimisation de la régression linéaire
a. Approche 1 : Descente de gradient (ou Batch GD)
i. Chaque fois, prendre de plus grands pas dans la direction opposée du
gradient de l’ensemble des données
ii. La convergence:
1. Utilise la norme L2 du gradient avec une petite tolérance
2. Verifie la réduction de la fonction de perte d’une itération à la
suivante
iii. Avantages :
1. La conception est simple
2. La convergence est garantie
iv. Inconvénients :
1. Traiter par ensembles
2. Il est souvent lent à converger
b. Approche 2 : Descente de gradient stochastique (ou Incremental GD)
i. Chaque fois prendre de nombreux petits pas dans la direction opposée du
gradient en utilisant un seul échantillon de l'ensemble d'entraînement
ii. Avantages :
1. efficace mémoire
2. convergence rapide
3. moins sujet aux optima locaux
iii. Inconvénients : la convergence en pratique nécessite l'ajustement des
hyperparamètres
iv. Si notre modèle linéaire n’est pas satisfaisant, on peut le rendre plus
complexe en définissant des variables d’entrée comme polynomiale etc
c. Approche 3 : Solution en forme fermée
i. Mettre les dérivées égales à zéro et résoudre pour les paramètres.
ii. La régression linéaire des moindre carrés
iii. Avantages : algorithme en une seule passe !
iv. Inconvénients : ne marche pas pour des grands ensembles de données
5. La régression logistique
a. Est une technique utilisé pour la classification
b. Pour prédire des variables binaires
c. Comment convertir une expression réelle en une probabilité
i. Remplacez la fonction sign() par la fonction sigmoide ou logistique
d. Comment ajuster (fit) parametre
i. Distribution de bernoulli: est une distribution de probabilité discrète qui
modélise une variable aléatoire binaire
e. Comment effectuer l'entraînement ?
i. écrire la vraisemblance des paramètres (likelihood)
f. Comment apprendre les paramètres du modèle
 i. En maximisant la vraisemblance (estimation de maximum de
vraisemblance): évalue à quel point les paramètres du modèle rendent les
données obsevées plausibles
ii. Comment maximiser la vraisemblance ?
1. Prenez la dérivée et effectuez une ascension de gradient
(problème de maximisation) :
2. Ou prenez le négatif de la fonction de log-vraisemblance et
effectuez une descente de gradient (stochastique).
g. Interprétation probabiliste de la classification
i. Extension à plusieurs classes: Régression softmax etc
ii. Rapide à entraîner
iii. Rapide en classification
iv. Bonne précision pour de nombreux ensembles de données simples
v. Résistant à l'overfitting
1. Régression logistique régularisée
6. La méthode des k plus proches voisins (KNN: k-nearest neighbors)
a. Une technique utilisé pour la classification et la régression
b. Se regrouper selons les similaires des données
c. Deux moyens
i. Prédiction (classification): prédire une class en identifiant les k exemples
d’entraînement les plus proches (les plus similaires)
ii. Prédiction (régression): prédire une valeur continue en moyennant les
valeurs des k voisins
7. Classe d’hypothèses
a. L'espace des fonctions de décision possibles que nous considérons
b. choisi en fonction de nos convictions concernant le problème.
8. Fonction de perte
a. Évalue à quel point les prédictions d’un modèle correspondent aux valeurs
réelles
b. Trouve la fonction f parmi la classe d'hypothèses F qui minimise la perte totale.
c. Pour les problème de régression
i. Erreur quadratique moyenne MSE
ii. Erreur absolue moyenne MAE
d. Pour les problèmes de classification
i. Entropie croisée binaire (binary cross-entroy)
ii. Entropie croisée catégorielle (categorical cross-entropy)
iii. Hinge loss (les machines à vecteurs de support pour la classication
binaire)
e. Pour les problèmes de séquences (comme dans le cas des réseaux de neurones
récurrents)
i. Perte de perplexité
f. Quadratic Loss (Perte quadratique) :
i. Cette perte amplifie les erreurs plus importantes en raison du carré,
 ii. ce qui signifie que les valeurs aberrantes ont un impact plus important sur
la fonction de perte.
iii. Plus rapid mais plus sensible aux valeurs aberrantes
g. Absolute Loss (Perte absolue) :
i. Contrairement à la perte quadratique, cette perte n'amplifie pas les
erreurs.
ii. moins sensible aux valeurs aberrantes.
iii. Rendre l’optimisation plus difficile
h. 0/1 Loss (Perte 0/1) :
i. Mesure si la prédiction est exactement égale à la vraie valeur ou non.
ii. Elle attribue un coût de 1 en cas d'erreur et 0 en cas de prédiction
correcte. Cette perte est souvent utilisée dans le contexte de la
classification binaire.
iii. Pour obtenir des prédictions correctes sans mesurer l’écart précis
9. Risque empirique:
a. En moyennant la fonction de perte sur l'ensemble d'entraînement.
10. Évaluation empirique avec réutilisation d’échantillons
a. - Validation croisée
b. Bootstrap (échantillonnage aléatoire avec remplacement)
11. Generalization Error (Erreur de généralisation) :
a. mesure la performance d'un modèle sur de nouvelles données
b. L'erreur sur l'ensemble de validation est une estimation de l'erreur de
généralisation.
12. Expected Error (Erreur attendue) :**
a. théorique qui représente la performance moyenne attendue d'un modèle sur
toutes les données possibles, compte tenu de la distribution des données.
b. utilisée comme guide pour évaluer la capacité de généralisation d'un modèle.
13. Empirical Error (Erreur empirique) :
a. mesure la performance d'un modèle sur l'ensemble de données d'entraînement..
b. une faible erreur empirique ne garantit pas nécessairement une faible erreur de
généralisation, car le modèle pourrait simplement avoir mémorisé les données
d'entraînement au lieu d'apprendre des motifs sous-jacents.
14. En résumé, l'erreur de généralisation se concentre sur la performance du modèle sur de
nouvelles données, l'erreur attendue représente la performance moyenne théorique, et
l'erreur empirique mesure la performance sur les données d'entraînement.
15. L’Overfitting (Surajustement) :
a. L'overfitting se produit lorsqu'un modèle s'adapte trop aux données
d'entraînement, capturant non seulement les motifs réels mais aussi le bruit ou
les fluctuations aléatoires.
b. Utiliser des techniques de régularisation, augmenter la taille de l'ensemble de
données, ou réduire la complexité du modèle.

16. Underfitting (Sous-ajustement) :

 a. L'underfitting se produit lorsque le modèle est trop simple pour capturer les
motifs sous-jacents dans les données d'entraînement.
b. Utiliser un modèle plus complexe, augmenter la taille de l'ensemble de données,
ou utiliser des techniques d'optimisation plus avancées.
17. compromis biais-variance
a. MSE (Erreur quadratique moyenne) : composée du biais et de la variance, elle
vise à trouver l’équilibrum qui minimise à la fois la variance et le biais.
b. "Biais (Bias)
i. Mesure La différence entre la valeur attendue du modèle et la valeur
estimée (sur différents ensembles d'entraînement)."
ii. Un modèle avec un biais élevé a tendance à être tro simple et peut
manquer de représentativité pour des structures complexes dans les
données.
iii. L’underfitting
iv. Un biais élevé  augment des erreurs d'entraînement et de test."
c. Variance :
i. mesure la sensibilité d'un modèle aux variations dans les données
d'entraînement. Écart par rapport à la valeur attendue des estimations.
Un modèle avec une variance élevée est trop sensible aux fluctuations
dans les données d'entraînement et peut capturer même le bruit.
ii. Overfitting
iii. Un variance élevé  faible erreur d'entraînement, mais des erreurs
élevées en test."
18. Les differences entre L'ensemble d'entraînement, validation et test
a. L’ensemble d’entraînement est utilisé pour l'entraînement
b. l'ensemble de validation est utilisé pour calculer l'erreur de prédiction et choisir
un parmi les k modèles
c. l'ensemble de test est utilisé pour estimer l'erreur de généralisation.
19. K-plis validation croisée
a. Étape
i. Diviser l'ensemble d'entraînement en k plis distincts.
ii. Pour chaque pli, s'entraîner sur les (k moins 1) plis restants.
b. Problemes
i. Petit ensemble d'entraînement → estimateur biaisé de l'erreur.
ii. Validation croisée leave-one-out : k = n
1. non biaisé de l'erreur de prédiction attendue.
2. Variance potentielle élevée (sensitive aux valeurs aberrantes,
instabilité, similarité élevée)
3. Approche computationnellement intense (n répétitions).
iii. En pratique : fixer k=5 ou k=10.
20. La matrice de confusion
a. Utilisé en classification pour évaluer les performances d’un modèle
b. Utile pour les problèmes de classification binaire, mais aussi peut multiclasse
c. Les faux positifs (fausses alertes) : erreurs de type I.
 d. Les faux négatifs (omissions): erreurs de type II.
21. La courbe ROC (receiver operation characteristic)
a. Montre le compromis entre la sensibilité TPR (taux de vrai positifs) et FPR(taux
de faux positifs)
b. Aire sous la courbe (AUC – area under the curve)
i. La capacité du modèle à discriminer entre les classes positive et négative
ii. Élévé 
1. + capacité de discrimination et
2. + performance globale du modèle
22. La malédiction de la dimensionnalité :
a. données clairsemées
b. complexité des algorithmes (peut-être inapplicables).
23. Quelle est le rang d'une matrice A ?
a. Le nombre de rangées ou de colonnes linéairement indépendantes de A.
24. Valeurs propres (eigenvalues): Av = lambda v
a. Indiquent l’importance relative de ces directions
25. Vecteurs propres (eigenvectors): v
a. Représentent les directions principales dans lesquelles les données varient le
plus
b. Choisir les plus grandes valeurs propres, on capture la majeure partie de la
variabilité de données
26. Comment effectuer une réduction de dimension avec la SVD ?
a. une technique algébrique qui est utilisé à réduir la dimensionnalité des données
en extraire les composantes les plus importantes d’une matrice. L’algoritheme est
de décompose une matrice en trois matrices (U, Σ, V), mettre les plus petites
valeurs singulières à zéro, choisir des vecteurs basé sur la minimisation de la
somme des erreurs de reconstruction
b. Décompose la matrice originale A en trois matrices : U, qui contient les vecteurs
singuliers gauches de A ; V, qui contient les vecteurs singuliers droits de A ; et Σ,
une matrice diagonale contenant les valeurs singulières triées de manière
décroissante.
c. Les vecteurs singuliers gauches de A sont également les vecteurs propres de la
matrice symétrique A A transposé
d. Les vecteurs singuliers droite de A sont également les vecteurs propres de la
matrice symétrique A transposé A
e. Les valeurs singulières de A sont les racines carrées des valeurs propres des
matrices A A transposé et A transposé A
f. Combien de vecteurs singuliers faut-il conserver ?
i. En règle générale, conserver 80 % à 90 % de l'énergie des données, soit la
somme des valeurs propres quadratique
27. Analyse en composantes principales (PCA) : z = Xw
a. L'ACP est une méthode statistique qui vise à réduire la dimensionnalité des
données tout en maximisant la variance des données projetées. Elle est souvent
utilisée pour explorer la structure sous-jacente des données.
 b. La variance totale expliquée dans les données est trace(Σ) = λ1 + λ2 + ... + λn.
c. Les premières k composantes principales représentent (λ1 + λ2 + ... + λk) / (λ1 +
λ2 + ... + λn).
d. Algorithme :
i. Supposer que les données sont organisées dans une matrice de taille m
par n.
ii. Standardiser la matrice en Soustrayant la moyennes: C = X - M
iii. Calculer la matrice de covariance \(\Sigma = C^T C\) et la variance totale
trace egale la somme des valeurs propres de la matrice de covariance
iv. Choisir un seuil 80% ou 90%
v. Axes principaux : Les k vecteurs propres U[1,...k] de \Sigma correspondant
aux k plus grandes valeurs propres.
vi. Composantes principales : Projeter les données dans le nouvel espace \(C
U[1,...k]\).
e. SVD vs PCA
i. Similarités
1. combien de paires propres (eigenpairs) devrais-je conserver ?
a. 80%-90%
2. L'ACP peut être formulée en termes de SVD, où la SVD est utilisée
pour calculer les composantes principales
3. Les vecteurs singuliers de la SVD correspondent aux vecteurs
propres de la matrice de covariance dans le contexte de l'ACP
4. Les deux méthodes sont liées et sont utilisées pour la réduction de
dimensionnalité et l'analyse des données.
ii. Differences
1. SVD: Trouver un espace de basse dimension pour minimiser la
fonction perte lors de la projection.
2. Vs PCA : Trouver un espace de basse dimension pour maximiser la
variance lors de la projection.
28. Parmi des hypothèses concurrentes (modèles), celle avec le moins d'assumptions devrait
être sélectionnée. – occam’s
29. La régularisation
a. est le processus de pénalisation de la complexité du modèle pendant
l'entraînement.
b. avec un facteur supplémentaire, appelé terme de régularisation, qui contrôle la
complexité du modèle.
i. Régression Ridge : ajoute un terme de régularisation L2 (paramètres
carrés) à la régression linéaire.
ii. Régression LASSO : ajoute un terme de régularisation L1 (paramètres
absolus)à la régression linéaire. (Non-différentiable
1. Itérations entre :
a. Une étape de gradient pour le terme différentiable
b. Projection sur le régulariseur
30. Une regle decision raisonnable: un classificateur linéaire
 a. En une dimension, la frontière linéaire est simplement un seuil.
b. En deux dimensions, la frontière linéaire est une ligne.
c. En trois dimensions, la frontière linéaire est un plan.
31. Aim to (vise à), >1 (supérieur à 1), <0 (inférieur à 0)
32. Modèles discriminatifs vs. Modèles génératifs (supervisé)
a. Discriminatif
i. Aucune hypothèse sur la distribution des données
ii. Mappage direct des données vers les étiquettes: apprendre p (label |
data), Prédiction sans modélisation
iii. Robuste aux erreurs de modélisation  adapté aux grands ensembles de
données
iv. E.g. régression logistique
v. Analyse discriminante linéaire (LDA)
1. etape (Projecte tous les données dans un nouvel espace de
dimension inférieure en maximisant la variance entre les classes
et minimisant la variance dans chaque class )
a. Calcule la matrice de dispersion dans chaque classe
b. Calcule la matrice de dispersion entre les classes
c. Calcule la matrice W
i. En résolvant les valeurs propres
ii. Obtenant les vecteurs propres correspondant aux
k-1 plus grandes valeurs propres (pq k-1: reduire
redondance. On peut obentir k eme direction par 0
moins la somme d’autres directions )
d. Projecte les données dans le nouvel espace par W et
obtenir les résultat
2. Etape (predire)
a. Ensemble d'entraînement :
i. Obtenir des données associées à chaque classe Ck
ii. Estimer les paramètres du modèle pour chaque
classe, moyenne et la matrice de covariance
iii. Estimer les probabilités a priori πk pour chaque
classe
b. Assigner de nouveaux échantillons xnew à une classe selon
:
i. MAP : C(xnew) = arg max fk(xnew)πbk
ii. Le signe de la frontière de décision δk(xnew)
3. Réduction de dimension supervisée et classification
b. génératifs
i. étant donné la distribution des données a une forme paramétrique
spécifique (Modèles paramétriques (distributions))
ii. objectif est d’estimer les paramètres du moèle (l’estimation paramétrique
de la densité)
 iii. Modèle chaque classe séparément : p(data|label) et p(label), Prédire
p(label|data)
iv. Deux nouveaux classificateurs
1. Naïve Bayes (famille de classificateurs)
a. Classificateur probabiliste
b. Etape
i. Trouve une distribution de probabilité adaptée:
gaussienne
ii. Estime les paramètres de la distribution pour
chaque classe: MLE (maximum de vraisemblance)
iii. Classe selon le MAP (maximum à posteriori)
33. Regression Robuste
a. La fonction objective pondérée
b. Moindres Carrés Pondérés Itérativement
i. Calculer l'erreur
ii. Recalculer le poids
iii. Mettre à jour la fonction des moindres carrés
34. LDA vs PCA
a. PCA (Principal Component Analysis)
i. Objectif principal : Maximiser la variance des données projetées.
ii. Non supervisé
iii. Principalement utilisé pour réduire la dimensionnalité des données
b. LDA (Linear Discriminant Analysis)
i. Objectif principal : Maximiser la séparation entre les classes.
ii. Supervisé
iii. Utilisation : la réduction de dimensionnalité
35. MLE (L'estimation du maximum de vraisemblance) vs MAP (Maximum à posteriori)
a. MLE
i. L’objectif de la MLE est de trouver la valeur des paramètres qui maximise
la vraisemblance des données observées
ii. Une estimation sans régularisation
iii. Important Properties
1. (MLE) est fortement consistant, asymptotiquement non biaisé et
asymptotiquement efficace.
2. Pour tout estimateur non biaisé : La plus petite variance
3. Fortement dépendant de la forme de la fonction de densité de
probabilité : non robuste.
b. MAP
i. L’objectif de la MAP est similaire à celui de la MLE, mais elle prend en
compte une estimation a priori des paramètres
ii. MAP cherche à maximiser la probabilité a posteriori des paramètres en
incorporant une distribution a priori sur ces paramètres
iii. Introduit une régularisation naturelle par l’information a priori
36. Méthode des moments
 a. Approche : égaler les moments théoriques aux moments échantillonnais
b. Propriétés importantes
i. MME fortement consistante
ii. Pas asymptotiquement efficace
iii. robuste (n’est pas dépendant de la forme de la fonction de densité de
probabilité)
iv. Généralement moins précise mais facile et rapide à calculer
v. Peut être utilisée comme première approximation pour d'autres
méthodes
37. Un algorithme d’apprentissage non paramétrique vs paramétrique
a. Non paramétrique
i. Les paramètres du modèle n’ont pas de structure
ii. La complexité de modèle augmente avec la quantité de données
b. Paramétrique
i. Le nombre de paramètres du modèle est fixe indépendamment de la
taille des données
38. L’apprentissage basé sur les instances
a. Le modèle mémorise les exemples d’entraînement au lieu de générer un modèle
généralisé
b. Algorithme
i. Stocke l’ensemble des données d’entraînement
ii. Effectue les prédictions en se basant sur la similarité entre les nouvelles
instances et les instances mémorisées
c. Méthodes paresseuses
d. Exemple
i. K-plus proches voisins (KNN)
39. Similarité cosinus (cosine similiarty):
a. Le produit scalaire (dot Product) peut être utilisé pour mesurer les similarités
entre les vecteurs.
40. K-NN
a. Choix de k
i. Petit k (l’underfitting)
1. Décision bruyante
2. Le Biais est faible mais la variance est élevée
ii. Grand k (l’overfitting)
1. Peut conduire à de meilleures performances de prédiction
2. Intensif en calcul
3. La variance est faible mais le biais n’est pas trop élevé
iii. Comment choisir k
1. Par validation. Croisée en examinant l’erreur de classification
b. Avantages
i. L’entraînement est rapide
ii. Robuste aux données bruyantes
1. Moyenne des k votes
 iii. Peut apprendre des fonctions complexes (implicitement)
c. Inconvénients de kNN
i. Besoins en mémoire
ii. La prédiction peut-être lente
1. Complexité de donner un étiquette à un nouveau point de
données : O(knm)
2. Mais KNN fonctionne mieux avec beaucoup d’échantillons
3. Comment améliorer le temps d’exécution
a. les structures de données plus efficace comme les arbres
K-D
b. Solutions approximatives basées sur le hachage
iii. Grand dimension
1. Réduction de la dimensionalité
2. Besoins de plus de données d’entraînement
d. Les variantes du KNN
i. Inclure des ajustements ou des améliorations de l’algorithme de base
ii. e.g. distance pondérée
1. Attribue des poids différents en fonction de la distance
41. La classification basée sur un arbre de décision
a. De manière récursive de haut en bas
b. Problème
i. Détermine comment diviser les données
1. Comment spécifier la condition de test attributaire
2. Comment déterminer la meilleure division
ii. Déterminer quand arrêter la division
c. Critères d'arrêt
i. Presque toutes les données appartiennent à la même classe
ii. Presque toutes les données ont des valeurs d’attribut similaires
d. Avantages
i. Moins cher à construire (phase d'entraînement)
ii. Extrêmement rapide lors de la phase de test (classification de données
non vues)
iii. Facile à interpréter
iv. La précision est comparable à d'autres techniques de classification pour
de nombreux ensembles de données simples
e. Surajustement :
i. Trop de branches, peut-être à cause des anomalies au bruit ou aux
valeurs aberrantes
ii. Deux approches pour éviter le surajustement
1. Pré-élagage :
a. Arrête à diviser si la mesure de qualité est moins d'un seuil
b. Difficile de choisir un seuil approprié
2. Post-élagage : Supprimer des branches d'un arbre entièrement
développé
 a. Principe de l'élagage de coût-complexité minimal
b. Utiliser un ensemble de données (différent des données
d'entraînement) pour décider quel est le meilleur arbre
élagué.
42. Méthodes ensemble
a. Classification
b. Combine les prédictions de plusieurs modèles pour améliorer la performance
globale du modèle
c. Bagging (Bootstrap agrégation) vs boosting
i. Stratégie d’entraînement
1. Bagging: Échantille aléatoire avec replacement pour créer
plusieurs ensembles de données (avantage: entraine différents
échaillon, réduisant le surajustement)
2. Boosting: un entraînement séquentiel; donne plus de poids aux
classificateurs plus importants par les classificateurs précédents
ii. Méthode de combinaison
1. Bagging: en moyennant les prédiction des différents modèles
(réduire la variance global du modèle)
2. Boosting: les prédiction des différents modèles combinent de
manière pondérée (corriger des erreurs précédentes )
d. Bagging: estimation boostrap
i. Repete l’échantillonnage n de D avec remplacement
ii. Pour chaque ensemble d’échantillons, estime une statistique
iii. L’estimation boostrap es la moyenne des estimations individuelles
iv. Utilisé pour estimer une statistique (paramètre) et sa variance
v. Pour la régression : moyenne des prédictions
vi. Pour la classification : moyenne des probabilités de classe ou prise de
décision à la majorité
e. AdaBoost
i. Avantage :
1. Obtenir un apprentissage fort qui peut atteindre une erreur
proche de zéro sur les données d’entraînement pour le problème
a. Ajoute ‘valeur + ε’
i. Up peu meilleur qu'un classificateur aléatoire
ii. Apprentissage faible
ii. Idea
1. Entraîne T modèles faibles séquentiellement
2. Au début, donne les même poids pour chaque cas
3. Réajuste les poids des données d’entraînement
4. Enfin, utilisez un comité pondéré de tous les modèles pour les
données de test.
43. Machine à vecteurs de support (SVM)
a. Supervisé
b. SVM à marge rigide
 i. Objectif : maximiser la marge entre les classes (marge : deux fois la
distance de l’hyperplan de séparation aux points d’entraînement les plus
proches ; peut être calculé par le produit scalaire)
ii. Hypothèse : les données sont linéairement séparables (il existe une ligne
qui sépare les deux classes)
iii. Optimise par les multiplicateurs de Lagrange
1. Présente une nouvelle variable pour transformer le problème
primal au problème dual des SVM
2. KKT conditions
a. La stationnarité des contraintes
b. La faisabilité des contraintes
c. La dualité))
c. SVM à marge souple
i. Les données ne sont pas linéairement séparables
ii. On peut utiliser Hinge Loss (fonction de Charnière) (pénalise les points qui
se trouvent du mauvais côté de la frontière de décision ou à l’intérieur de
la marge)
iii. On utilise variable d’écart (slack variable)
1. Permet une certaine flexibilité dans la classification
2. Mesure à quel point un point de données est à l’intérieur de la
marge ou du mauvais côté de l’hyperplan
iv. Le Contraint de l’erreur fonction comme la régularisation pour
compromettre entre une erreur d’entraînement et la complexité du
modèle
1. Grand C :
a. Minimisation de l’erreur d’entraînement
b. Pénalise le slack plus amènent à marge plus étroite
(narrow)
c. Plus sensible aux points de données individuels
2. Petit C
a. Sous-ajustement
d. SVM à noyau
i. Non linéaire
ii. Algorithme
1. Transforme les données par un noyau qui peut mapper les
données dans un certain espace de caractéristiques
2. Trouve une frontière de décision linéaire dans cet espace
iii. La condition d’un noyau
1. Symétrique
2. Quand les données sont positive semi-définie, la matrice d’un
noyau est positive semi-définie
3. Ou si et seulment il est positif défini (multiplié par n’importe quel
vecteur non nul, le produit scalaire strictement positif de ce
vecteur avec lui-même)
 iv. Avantage
1. En calculant directement le produit scalaire via la fonction noyau
au lieu de calculer séparément et combine ensemble (réduire le
cout computationnellement)
2. Les noyaux permettent des hypothèses très flexibles.
3. Des méthodes d'optimisation exactes en temps polynomial
4. SVM à marge souple permet des exemples mal classés.
v. Inconvénients :
1. Il faut choisir les paramètres du noyau.
vi. Les noyaux sont utilisés pour :
1. Données réelles
2. Chaînes de caractères
3. Graphes
44. Algorithme K-means
a. Étape
i. Commencer avec certains centres de cluster initiaux.
ii. Itération :
1. Assigne chaque exemple au centre le plus proche.
2. Recalcule les centres comme la moyenne des points dans un
cluster.
b. Fonction objective
i. Somme des erreurs carrés à l'intérieur du cluster
ii. Diagramme de Voronoï
1. Divise l'espace en cellules selon la proximité des points
2. Chaque cellule de Voronoï est délimitée par les frontières comme
son propre polygone.
iii. NP-hard problème (ploynomial)
c. Algorithme de Lloyd (une stratégie gourmande) :
i. Partitionne les données en k clusters de manière aléatoire.
ii. Calcule le centroïde de chaque cluster.
iii. Assigne chaque point au cluster du centroïde.
iv. Répété jusqu'à ce que l'appartenance au cluster converge.
d. Comment choisir k
i. Méthode du coude (elbow method)
1. Tracer la variation de la somme des carrés dans un cluster en
fonction de k.
2. Critère de l'information bayésienne (Bayesian Information
Citerions - BIC) : Minimiser le BIC
e. Avantages
i. Le temps de calcul est linéaire
ii. Facilement implémentable
f. Inconvénients
i. Nécessité de choisir k (paramètre défini par l'utilisateur)
ii. Non-robuste : Sensibilité au bruit et aux valeurs aberrantes
 iii. Non déterministe (stochastique) : La solution dépend de l'initialisation.
1. Différentes solutions à chaque itération
iv. Les clusters sont contraints d'avoir des formes "sphériques" (convexes).
45. DBSCAN (Density-Based Spatial Clustering of Applications with Noise)
a. Non-supervisé- regroupment
b. Basé sur la densité
c. Peut trouver des clusters de formes aléatoire et est robuste aux valeurs
aberrantes
d. Deux paramètres principaux
i. Epsilon : le rayon autour d’un point
ii. MinPts : le nombre minimum de points dans le cluster
46. HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise)
a. Non-supervisé- regroupment
b. Une extension de DBSCAN, une approche hiérarchique du clustering
c. Une structure de clustering sous forme d’arbre
d. Avantages
i. Ne besoins pas spécifier le nombre de clusters à l’avance (basé sur la
stabilité de clusters pour déterminer les structures de cluster)
47. Factorisation de Matrices Non-Négatives (NMF) :
a. Une technique de décomposition de matrices en deux matrices non-négatives W
et H
b. Extraire des caractéristiques significatives des données
i. Par exemple extraire des thèmes des documents textuels dans le
domaine du traitement du langage naturel
c. Réduire la dimension
48. GMM (Gaussian Mixture Model) - non supervisé
a. Un modèle probabiliste pour modéliser des données complexes en particulier
quand les données peuvent être générees par plusieurs composantes
gaussiennes ou clusters
49. EM (Expectation-Maximization)
a. Une méthode d’optimisation pour estimer les paramètres de modèles quand il y
a des variables latentes. (Les variables latentes : facteurs non observables qui
influencent les données observées)
b. Souvent utilisé pour entraîner des modèles de mélange tels que les GMM
50. T-SNE (t-distributed stochastic neighbor embedding)
a. Réduire la dimension non linéaire
b. PCA (linéaire)
51. KL (la divergence de kullback-leibler)
a. Une mesure de la différence entre deux distributions de probabilité
b. Pour quantifier la différence entre une distribution de probabilité estimée et une
distribution de probabilité réelle
52. BIC (Bayesian information criterion) et AIC (Akaike information criterion)
a. Utilise pour évaluer et comparer la qualité des modèles
b. BIC pénalise le nombre des paramètres et aussi les tailles des données
c. Aic pénalise seulement le nombre des paramètres