LOG770

Systèmes
Intelligents
Chargé de cours : Responsable de cours :
Lévis Thériault Pierre Dumouchel, ing., Ph.D.,
Local: A-3466 Local: A-3498
Téléphone: (514) 396-8800 Téléphone: (514) 396-8996
#7810 Courriel:
Courriel: [Link]@[Link]
[Link]@[Link]
INTRODUCTION TO

Machine
Learning
ETHEM ALPAYDIN
© The MIT Press, 2004
alpaydin@[Link]
[Link]
CHAPTER 1:

Introduction
 Apprentissage naturel vs
apprentissage artificiel
 Dark star movie.
 [Doolittle convinces the bomb not to explode]
Doolittle: Hello, Bomb? Are you with me?
Bomb #20: Of course.
Doolittle: Are you willing to entertain a few concepts?
Bomb #20: I am always receptive to suggestions.
Doolittle: Fine. Think about this then. How do you know you exist?
Bomb #20: Well, of course I exist.
Doolittle: But how do you know you exist?
Bomb #20: It is intuitively obvious.
Doolittle: Intuition is no proof. What concrete evidence do you have
that you exist?
Bomb #20: Hmmmm... well... I think, therefore I am.
Doolittle: That's good. That's very good. But how do you know that
anything else exists?
Bomb #20: My sensory apparatus reveals it to me. This is fun.

4
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Pourquoi “apprendre” ?
 Les machines d’apprentissage sont des programmes
d’ordinateurs qui performent une tâche suite à un
apprentissage à partir de données et d’expériences du
passé.
 Ce n’est pas utile d’apprendre à faire des chèques de paie.
 L’apprentissage est utile quand:
 L’expertise humaine n’existe pas (naviguer sur Mars),
 L’humain n’arrive pas à expliquer comment il arrive à
accomplir une tâche (reconnaissance automatique de la
parole)
 Large quantité de données à traiter.
 La solution change en court de route (routage sur un réseau
Internet)
 La solution doit s’adapter à son utilisateur (biométrie, filtrage:
e-mail).

5
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Qu’assumons-nous lorsque
nous parlons d’apprentissage”
 Apprentissage de modèles génériques à partir de données
d’exemples particuliers (apprentissage par des exemples).
 Les données sont de faibles coûts et abondantes (data
warehouses, data marts); les connaissances coûtent chers et
sont rares.
 Exemple dans le milieu du commerce: les transactions
commerciales versus les comportements des
consommateurs:
People who bought “Da Vinci Code” also bought “The Five
People You Meet in Heaven” ([Link])
 Développer un modèle qui a une bonne et utile
approximation des données.

6
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Forage de données (Data
Mining)
 Vente: Analyse du panier du marché, Customer
relationship management (CRM)
 Finance: analyse du crédit, détection de fraudes
 Fabrication manufacturière: Optimisation, détection
de problèmes
 Médecine: diagnostic médical
 Télécommunications: Qualité de service , optimisation
 Bioinformatique: Motifs, alignement
 Forage de l’Internet (Web mining): Engins de
recherche
 ...

7
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Qu’est-ce que l’apprentissange
machine?
 Optimiser un critère de performance à partir de
données ou d’expériences passées.
 Minimiser
 Probabilité des sorties erronées produites par le système.
 Moyenne des coûts produits par des décisions erronées
 Rôle des statistiques: inférence à partir de
données
 Rôle de la science informatique : algorithmes
efficients pour :
 Solutionner le problème d’optimisation
 Représenter et évaluer le modèle d’inférence

8
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 un système d’apprentissage et
de reconnaissance des formes
 Codage
 Représentation d’une forme
 La modélisation
 Choisir un modèle approprié pour modéliser les
échantillons
 La mesure de performance
 Trouver une bonne métrique pour mesurer les erreurs
produites par ce système.

9
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Exemple d’un système
d’apprentissage

 Parole / Ecriture
 Données : (entrée : signal + sortie : transcription)
 But : reconnaître signal
 mesure : nombre de mots correctement reconnus

10
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Applications
 Association
 Apprentissage supervisé
 Classification
 Régression
 Apprentissage non-supervisé:
 Données non étiqutées
 Apprentissage semi-supervisé
 Apprentissage par renforcement

11
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Apprentissage par association
 Analyse du panier du marché:
P (Y | X ) est la probabilité qu’une personne qui
achète X achète aussi Y
 où X et Y sont des produits ou services.

Exemples:
P ( chips | bière ) = 0.7
P ( lait | bière ) = 0.01

12
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Apprentissage par association
Type Cheveux Tenue
Madza 3 châtaine jeans
Madza 3 brune habit
 Problème: Un vendeur Madza 3 blonde sport
d’automobile a étudié ses Madza 3 noire jeans
20 dernières ventes Madza 5 rousse habit

d’auto. Que valent les Madza 5 grise sport

probabilités suivantes: Madza 5

Madza 5
châtaine
brune
jeans
habit
 Pr( Mazda 3 | blonde) Madza 5 blonde sport

 Pr( Mazda 3 | blonde, Madza 6 rousse jeans

Madza 6 blonde habit
sport) Madza 6 noire sport
 Pr( MX-5 | blonde) Madza 6 noire jeans
MX-5 blonde habit
MX-5 blonde sport
Tribute gris jeans
Tribute noire habit
Tribute blanc sport
RX-8 rousse jeans
RX-8 noire habit 13
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Classification
 Exemple: obtention de
crédit
 Différenciation entre
les clients à bas-risque
(low-risk) et à haut-
risque (high-risk) en
fonction de leurs
revenus (income) and
leurs épargnes (savings)

Discriminant: SI income > θ1 ET savings > θ2

ALORS low-risk SINON high-
risk
14
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Classification: Applications
 Sous-problèmes de la Reconnaissance de formes
 Reconnaissance des visages: Pose, luminance, occlusion
(verres, barbe), maquillage, coiffure
 Reconnaissance de l’écrit: différentes calligraphies.
 Reconnaissance de la parole: dépendance temporelle.
 Utilisation d’un dictionnaire de prononciation, de modèles de
langage.
 Fusion de données: Combiner plusieurs modalités i.e. visuelle
(lecture labiale) et données acoustiques
 Diagnostic médicaux: du symptôme jusqu’à la maladie
 ...

15
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Régression
 Exemple: prix d’une
automobile usagée
 x : attributs d’une y = wx+w0
auto
y : prix
y = g (x | θ)
g ( ) modèle,
θ paramètres

16
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Applications de la régression
 Navigation d’une automobile de façon
automatique: angle du volant de conduite (CMU
NavLab)
 Cinématique
(x,y) d’un αbras
= gde robot
(x,y) 1 1

α2= g2(x,y)
α2

α1

 Réponse de la surface de conception

17
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Apprentissage supervisé: cas
 Prédiction de situations futures: Utilisation d’une
règle de prédiction de la sortie pour des données
d’entrée futures
 Extraction de connaissances: La règle est facile à
comprendre
 Compression: La règle est plus facile à
comprendre que les données brutes
 Détection de valeurs aberrantes: Détection
d’exceptions qui ne sont expliquées par les règles
normales c.à.d fraude

18
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Apprentissage non supervisé
 Apprendre ce qui se passe normalement
 Sans sortie
 Groupage: formation de groupe d’éléments
similaires
 Exemples d’applications
 Segmentation des clients dans un CRM
 Compression de l’image : quantification de la
couleur
 Bioinformatique: apprentissage de motifs

19
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Apprentissage non supervisé
 Exemples d’applications
 Segmentation des clients dans un CRM
 Essaie de regrouper des clients ayant un profil
similaire afin de développer une stratégie de vente
 Essaie de trouver les clients hors de l’ordinaire
(valeur aberrante) afin de développer une stratégie
spécifique à ce type

20
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Apprentissage non supervisé
 Exemples d’applications
 Bioinformatique: apprentissage de motifs
 DNA: séquences de bases, A, G, C, T
 Un des problèmes en biologie moléculaire est
d’aligner une séquences de bases avec une autre
séquences.
 C’est un problème complexe car les séquences
peuvent être longues et qu’il peut y avoir des
substitutions, des insertions et des élisions.

21
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Apprentissage par
renforcement
 Pour quelques applications, la sortie du système
est une séquence d’actions.
 Apprendre une politique: une séquence de
sorties. Une sortie particulière n’est pas
intéressante, c’est la séquence qui importe.
 Exemples d’application;
 Problème d’assignation de crédit
 Jeux
 Robot navigant dans un labyrinthe
 Agents multiples, observation partielle, etc.

22
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Reconnaissance de faces
Ensemble de données d’entraînement

Ensemble de données de test

AT&T Laboratories, Cambridge UK

[Link]

23
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Reconnaissance de visages

24
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Suivi de la bouche

25
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Suivi de la bouche

26
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Suivi de piéton et d’automobile

27
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Requête audio de mots

28
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Requête audio-visuelle

29
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Inspection industrielle

30
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Reconnaissance de la voix

31
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Lecture labiale

32
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Ressources: Banque de
données
 UCI Repository:
[Link]
 UCI KDD Archive:
[Link]
 Statlib: [Link]
 Delve: [Link]
 Linguistic Data Consortium:
[Link]
 ELDA: [Link]

33
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Ressources: Journaux
scientifiques
 Journal of Machine Learning Research [Link]
 Machine Learning
 Neural Computation
 Neural Networks
 IEEE Transactions on Neural Networks
 IEEE Transactions on Pattern Analysis and Machine
Intelligence
 Annals of Statistics
 Journal of the American Statistical Association
 ...

34
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
 Ressources: Conférences
 International Conference on Machine Learning (ICML)
 ICML05: [Link]
 European Conference on Machine Learning (ECML)
 ECML05: [Link]
 Neural Information Processing Systems (NIPS)
 NIPS05: [Link]
 Uncertainty in Artificial Intelligence (UAI)
 UAI05: [Link]
 Computational Learning Theory (COLT)
 COLT05: [Link]
 International Joint Conference on Artificial Intelligence (IJCAI)
 IJCAI05: [Link]
 International Conference on Neural Networks (Europe)
 ICANN05: [Link]
 ...

35
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)