Cours: Machine Learning
Introduction, Concepts et Algorithmes
Pr. Samira LAFRAXO
Université Ibnou Zohr, Faculté des Sciences Agadir
Centre d’Excellence IT
[Link]@[Link]
Centre d’Excellence IT - FSA Machine Learning 1 / 52
Objectifs du Module
1 Comprendre les enjeux de l’utilisation du Machine Learning ;
2 Maı̂triser les méthodologies et les algorithmes du Machine Learning ;
3 Identifier les problèmes qui peuvent être résolus par des approches de
machine learning ;
4 Identifier les algorithmes classiques les plus appropriés pour ces
problèmes et les mettre en œuvre ;
5 Implémenter ces algorithmes par vous-même afin d’en comprendre les
tenants et aboutissants ;
6 Evaluer et comparer plusieurs algorithmes de machine learning pour
une application particulière.
Centre d’Excellence IT - FSA Machine Learning 2 / 52
Prérequis Pédagogiques
1 Mathématiques ;
2 Statistiques ;
3 Programmation: langage Python.
Centre d’Excellence IT - FSA Machine Learning 3 / 52
Plan de Cours
1 Fondations du Machine Learning ;
2 Regression Linéaire / Polynomiale ;
3 Programmation Python ;
4 Regression Logistique ;
5 Algorithmes de classification ;
6 Apprentissage Non-Supervisé ;
7 Gestion d’un projet de Machine Learning.
Centre d’Excellence IT - FSA Machine Learning 4 / 52
Chapitre I: Fondations du Machine Learning
Dans ce premier chapitre, nous allons voir :
1 Pourquoi le Machine Learning est vraiment utile ;
2 La définition du Machine Learning ;
3 Les trois méthodes d’apprentissage ;
4 Les quatres notions clefs du Machine Learning.
Centre d’Excellence IT - FSA Machine Learning 5 / 52
Introduction
L’intelligence Artificielle
Le désir de créer des machines qui se comportent comme des
humains est présent dans l’histoire de l’homme depuis les temps
anciens.
Cependant, ce n’est qu’à partir de la Seconde Guerre mondiale que
l’on peut dire que l’intelligence artificielle moderne est apparue avec
Alan Turing. L’expert en mathématiques a réussi à déchiffrer le
fonctionnement d’Enigma, avec la création de la machine Bombe.
En 1950, Turing publie l’article ”Computational Machinery and
Intelligence”, dans lequel il pose les bases de l’intelligence artificielle
et propose une expérience connue aujourd’hui sous le nom de ”Test
de Turing” , qui détermine si une machine peut penser.
Pour ce faire, un juge se tient dans une pièce et discute avec la
machine. Si la personne ne peut pas distinguer si elle parle à un
humain ou à une machine, dans ce cas la machine est considérée
comme intelligente.
Centre d’Excellence IT - FSA Machine Learning 6 / 52
Introduction
L’intelligence Artificielle
L’intelligence artificielle (ou IA), est un concept visant à donner aux
machines lacapacité de raisonner comme un être humain. Pour cela,
le processus cognitif auquel l’intelligence artificielle aspire a été
fractionné en différentes compétences qui sont :
La compréhension ;
La communication ;
La mémorisation ;
Le raisonnement ;
L’adaptation ;
L’apprentissage autonome.
Centre d’Excellence IT - FSA Machine Learning 7 / 52
Introduction
L’intelligence Artificielle
L’intelligence artificielle est déjà présente dans de nombreux domaines
et sa présence ne va que s’accroitre au fil des prochaines années.
Parmi ces domaines vous pourrez trouver :
Les jeux de réflexion et de stratégie ;
La finance ;
La santé ;
La perception et l’interprétation
La reconnaissance faciale
la communication en plusieurs langues ;
La robotique avec l’industrie, le transport et l’armement.
L’intelligence artificielle est un secteur qui s’accroit fortement et dont
les perspectives sont immenses. Néanmoins, ce domaine ne serait rien
sans le machine learning.
Centre d’Excellence IT - FSA Machine Learning 8 / 52
Introduction
L’intelligence Artificielle
Centre d’Excellence IT - FSA Machine Learning 9 / 52
Introduction
L’intelligence Artificielle
Centre d’Excellence IT - FSA Machine Learning 10 / 52
Introduction
Le Machine learning
Le machine learning est une sous-catégorie de l’intelligence artificielle.
Le principe est donc qu’une machine apprenne d’une manière
automatique et regroupe en son sein plusieurs concepts, dont le deep
learning.
L’ordinateur va pouvoir apprendre afin d’apporter, par la suite, une
réponse adaptée à une situation dite complexe.
Qu’est-ce qu’apprendre? comment apprend-on? et que cela
signifie-t-il pour une machine ?
La question de l’apprentissage fascine les spécialistes de l’informatique
et des mathématiques tout autant que neurologues, pédagogues,
philosophes ou artistes.
Centre d’Excellence IT - FSA Machine Learning 11 / 52
Introduction
Le Machine learning
Nous devons savoir qu’ un ordinateur n’est pas intelligent, il ne fait
qu’exécuter des tâches. Donc, on distingue les deux situations suivante:
1 On connait le calcul à effectuer pour résoudre notre problème.
Dans ce cas, facile ! On entre ce calcul dans l’ordinateur, en lui
décrivant sous forme de programmes quoi faire et comment le faire,
c’est ce qu’on appelle la programmation, et l’ordinateur nous donne le
résultat.
2 On ne connait pas le calcul qui résout notre problème.
Dans ce cas... on est bloqué. Impossible de donner à un ordinateur un
calcul que nous ne connaissons pas.
Au lieu de décrire quoi faire, le programme apprendra par lui même
comment faire en ”observant” des expérimentations.
Centre d’Excellence IT - FSA Machine Learning 12 / 52
Introduction
Le Machine learning
Centre d’Excellence IT - FSA Machine Learning 13 / 52
Introduction
Le Machine learning
Le machine Learning traite des sujets complexes où la programmation
traditionnelle trouve ses limites.
Construire un programme qui conduit une voiture serait très complexe
voire impossible.
Construire un programme qui conduit une voiture serait très complexe
voire impossible.
Le Machine Learning consiste à laisser l’ordinateur apprendre quel
calcul effectuer, plutôt que de lui donner ce calcul (c’est-à-dire le
programmer de façon explicite).
Centre d’Excellence IT - FSA Machine Learning 14 / 52
Introduction
Le Machine learning
En réalité, la machine est un algorithme qui analyse un volume
de données, qui serait ingérable pour un être humain, afin d’identifier
des modèles.
En d’autres termes, le machine learning implique que la machine est
formée à automatiser des tâches impossibles pour un être humain et,
grâce à cet apprentissage, elle peut faire des prédictions.
Cependant, l’intervention humaine est nécessaire à l’apprentissage de
la machine pour valider la décision prise par le programme.
L’algorithme est progressivement affiné grâce à ces corrections.
L’idée est facile à comprendre, elle est similaire à l’apprentissage d’un
être humain qui au bout de plusieurs expériences sur un même sujet
devient de plus en plus efficace et autonome.
Centre d’Excellence IT - FSA Machine Learning 15 / 52
Introduction
Le Machine learning
Centre d’Excellence IT - FSA Machine Learning 16 / 52
Introduction
Exemple du Machine learning
Le machine learning existe depuis un certain temps, même si vous
n’en êtes peut-être pas conscient.
La reconnaissance faciale des photos que vous publiez sur les réseaux
sociaux ou sur les services de stockage dans le cloud, est basée sur
cette technologie.
Vous vous êtes connecté à des plateformes de contenu en streaming
comme Netflix ou Spotify ? Si c’est le cas, vous savez que chaque
plateforme recommande en fonction du contenu que vous avez vu ou
de la musique que vous avez écoutée.
Le texte prédictif ou la réponse automatique dans des services
comme Gmail ou les messages LinkedIn est une autre application que
vous n’avez peut-être pas remarquée.
Comme vous pouvez le constater, cette technologie est déjà
pleinement installée dans notre vie quotidienne.
Centre d’Excellence IT - FSA Machine Learning 17 / 52
Introduction
Le Machine learning et les Mathématiques
Tout expert des données utilise le Machine Learning pour analyser ses
données et produire des modèles utiles.
En pratique, faire apprendre un programme ou un robot nécessite des
connaissances en mathématiques, plus précisément les statistiques et
probabilités pour construire des modèles et l’informatique pour
implémenter des algorithmes efficaces et robustes.
Une fois l’algorithme implémenté, la machine peut apprendre et
prédire des phénomènes précis et s’enrichir au fur et à mesure qu’il
reçoit de nouvelles données.
Centre d’Excellence IT - FSA Machine Learning 18 / 52
Introduction
Le Machine learning et le Data Mining
Le machine learning et le data mining aident les entreprises à
mettre au point des outils et des solutions qui peuvent résoudre des
problèmes, prendre des décisions et les transformer en action en
fonction de nos comportements.
Ainsi elles bénéficient des connaissances sur nos habitudes. Grâce à
cela, elles anticipent ce qui pourrait nous intéresser et nous dirigent
vers les produits ou services les plus utiles pour nous.
Ces deux technologies aident aussi les professionnels à trouver des
solutions à leurs problèmes, elles fournissent une meilleure
compréhension d’une situation, qui ne serait pas possible sans mise en
relation au préalable des informations variées et des silos de données.
Centre d’Excellence IT - FSA Machine Learning 19 / 52
Introduction
Le Machine learning et le Data Science
Comme une grosse partie du succès de la statistique et du machine
learning repose sur une bonne préparation et une bonne
transformation des données, on voit apparaitre très vite une discipline
qui englobe a minima la data préparation, la statistique et le machine
learning, que l’on peut appeler la Data Science .
La discipline englobante qui permet de développer toutes sortes
d’algorithmes pour l’I.A. s’appelle donc couramment la Data
Science , ses praticiens étant des Data Scientists ou des Data
Engineers.
Il semble parfaitement évident que la Data Science et l’Intelligence
Artificielle ont énormément des points en commun.
Centre d’Excellence IT - FSA Machine Learning 20 / 52
Introduction
Les applications du Machine learning
Il existe plusieurs cas nous permettent d’illustrer l’utilité et les effets du
machine learning dans notre vie quotidienne.
Recommandations client: Lors de la navigation sur internet, des
données sont collectées sur l’utilisateur : historique d’achats et de
recherches. En fonction de ces informations, le machine learning va
pouvoir identifier les besoins clients et quels sont les produits qui
pourront potentiellement intéresser chaque client.
Diagnostic médical: C’est sans doute l’un des applications du
machine learning les plus intéressantes. En effet, en s’intéressant aux
informations médicales, le modèle du machine learning peut établir un
diagnostic de l’état de santé d’un patient et anticiper les éventuels
risques. Dans certains cas, ce diagnostic réalisé grâce au machine
learning permet de prévenir de la survenue d’un crise cardiaque.
Centre d’Excellence IT - FSA Machine Learning 21 / 52
Introduction
Les applications du Machine learning
Remplacement d’images dans les vidéos: Grâce à une
identification des images encore plus précise, certaines techniques du
machine learning vont permettre de transformer des images
directement dans une vidéo. Cette technologie permet de retrouver
des éléments similaires afin de les regrouper et de pouvoir les modifier
grâce à des logiciels adaptés.
Poster une photo sur facebook: La reconnaissance faciale des
photos que vous publiez sur les réseaux sociaux ou sur les services de
stockage dans le cloud, est basée sur cette technologie.
Le machine learning ça concerne plusieurs autres domaines: l’industrie
des transports évidemment avec les voitures autonomes, l’industrie
aérospatiale, l’industrie biomécanique, la santé, la finance, etc.
Centre d’Excellence IT - FSA Machine Learning 22 / 52
Introduction
Centre d’Excellence IT - FSA Machine Learning 23 / 52
Concepts Généraux
Définition d’une donnée:
Une donnée est un nombre, une caractéristique, qui apporte une
information sur un individu, un objet ou une observation. Par exemple, 30
est un nombre sans intérêt, mais si quelqu’un vous dit J’ai 30 ans , 30
devient une donnée qui vous permettra d’en savoir un peu plus sur lui.
On distingue Les données dites privées et des données dites publiques:
Les données privées: sont tout simplement les données qui en
théorie n’appartiennent qu’à vous ou à votre organisation.
Les données publiques: c’est-à-dire accessibles à tous. Dans ce cas,
vous disposez d’une source de données quasi infinie: Internet.
Centre d’Excellence IT - FSA Machine Learning 24 / 52
Concepts Généraux
Les principaux types de données:
On distingue généralement de types : les données quantitatives des
données qualitatives.
Les données quantitatives sont des valeurs qui décrivent une quantité
mesurable, sous la forme de nombres sur lesquels on peut faire des calculs
(moyenne, etc.) et des comparaisons (égalité/différence, infériorité /
supériorité, etc.). Elles répondent typiquement à des questions du type
combien . On fait parfois la différence entre:
Les données quantitatives continues, qui peuvent prendre
n’importe quelle valeur dans un ensemble de valeurs: la température,
le PIB, le taux de chômage.
Les données quantitatives discrètes, qui ne peuvent prendre qu’un
nombre limité de valeurs dans un ensemble de valeurs: le nombre
d’enfants par famille, le nombre de pièces d’un logement, etc.
Centre d’Excellence IT - FSA Machine Learning 25 / 52
Concepts Généraux
Les principaux types de données:
Les données qualitatives décrivent quant à elles des qualités ou des
caractéristiques. Elles répondent à des questions de la forme quel type
ou quelle catégorie . Ces valeurs ne sont plus des nombres, mais un
ensemble de modalités. On ne peut pas faire de calcul sur ces valeurs,
même dans l’éventualité où elles prendraient l’apparence d’une série
numérique. On distingue:
les données qualitatives nominales, (ou catégorielles), dont les
modalités ne peuvent être ordonnées. Par exemple: la couleur des
yeux (bleu, vert, marron, etc.), le sexe (homme, femme), la région
d’appartenance, etc.).
les données qualitatives ordinales, dont les modalités sont
ordonnées selon un ordre logique . Par exemple: les tailles de
vêtements (S, M, L, XL), le degré d’accord à un test d’opinion
(fortement d’accord, d’accord, pas d’accord, fortement pas d’accord).
Centre d’Excellence IT - FSA Machine Learning 26 / 52
L’analyse des données
L’analyse de données est un domaine issu du monde des statistiques
qui vise à faire le lien entre les différentes données statistiques pour
les classer, les décrire et les analyser de manière succincte.
L’objectif de l’analyse des données est d’extraire une information
statistique qui permet de cerner plus précisément le profil de la
donnée. Les résultats obtenus permettent ensuite d’optimiser la
stratégie de la société en question en ajustant certains points.
Centre d’Excellence IT - FSA Machine Learning 27 / 52
L’analyse des données
Lors de toute étude statistique, il est nécessaire de décrire et explorer
les données avant d’en tirer de quelconques lois ou modèles prédictifs.
Dans beaucoup de situations, les données sont trop nombreuses pour
pouvoir être visualisables (nombre de caractéristiques trop élevées).
Il est alors nécessaire d’extraire l’information pertinente qu’elles
contiennent ; Les techniques d’ADD répondent à ce besoin.
Centre d’Excellence IT - FSA Machine Learning 28 / 52
L’analyse des données
Exemple:
Centre d’Excellence IT - FSA Machine Learning 29 / 52
L’analyse des données
Types d’analyse de données:
Analyse descriptive
Analyse prédictive
Analyse prescriptive
Centre d’Excellence IT - FSA Machine Learning 30 / 52
L’analyse des données
Centre d’Excellence IT - FSA Machine Learning 31 / 52
L’analyse des données
Centre d’Excellence IT - FSA Machine Learning 32 / 52
L’analyse des données
Centre d’Excellence IT - FSA Machine Learning 33 / 52
L’analyse des données
Centre d’Excellence IT - FSA Machine Learning 34 / 52
Les types d’apprentissage automatique
On distingue généralement trois modes principaux d’apprentissage :
l’apprentissage supervisé (par ”instruction”)
l’apprentissage par renforcement (par ”évaluation”)
l’apprentissage non supervisé
Centre d’Excellence IT - FSA Machine Learning 35 / 52
Les types d’apprentissage automatique
Centre d’Excellence IT - FSA Machine Learning 36 / 52
1. L’Apprentissage Supervisé (Supervised Learning)
L’ apprentissage supervisé est utilisé pour développer des modèles
prédictifs, c’est-à-dire des modèles capables de prédire une certaine
valeur y en fonction de variables x1 , x2 , x3 , etc.
Pour cet apprentissage, nous avons des données en entrée
”Features” et le résultat attendu ”Label”.
Il nous permet de faire des prédictions basées sur un modèle qui est
obtenu à partir de données d’historique et de l’algorithme choisi.
Exemples
Prédire le nom d’une personne y à partir d’une photo x.
Prédire le prix d’un appartement y en fonction de sa surface habitable
x1 et du nombre de pièces x2 .
Centre d’Excellence IT - FSA Machine Learning 37 / 52
1. L’Apprentissage Supervisé (Supervised Learning)
Centre d’Excellence IT - FSA Machine Learning 38 / 52
2- L’Apprentissage Non Supervisé (Unsupervised Learning)
L’apprentissage non supervisé est une méthode d’apprentissage
automatique où le modèle est entraı̂né sur un ensemble de données
sans étiquettes ni indications explicites.
Contrairement à l’apprentissage supervisé, où le modèle est guidé par
des exemples étiquetés, l’apprentissage non supervisé vise à découvrir
des relations, des structures ou des motifs intrinsèques dans les
données sans avoir de références préalables.
Exemples
Regrouper des clients en segments homogènes en fonction de leurs
comportements d’achat.
Text mining : textes proches.
Web mining : pages web proches.
Marketing : segmentation de la clientèle.
Centre d’Excellence IT - FSA Machine Learning 39 / 52
2- L’Apprentissage Non Supervisé (Unsupervised Learning)
Centre d’Excellence IT - FSA Machine Learning 40 / 52
3- Apprentissage par renforcement (Reinforcement
Learning)
L’apprentissage par renforcement est une branche de l’apprentissage
automatique où un agent interagit avec un environnement dynamique
et apprend à prendre des décisions en effectuant des actions.
L’objectif de l’agent est de maximiser une récompense cumulative à
long terme. Contrairement à l’apprentissage supervisé, l’apprentissage
par renforcement ne nécessite pas d’exemples étiquetés, mais plutôt
des retours sous forme de récompenses ou de sanctions.
Exemples
La robotique
Education des animaux de compagnie
Jeu d’échec, poker, backgammon, go. . .
Contingence de renforcement:( state, action,reward)
Centre d’Excellence IT - FSA Machine Learning 41 / 52
3- Apprentissage par renforcement (Reinforcement
Learning)
Centre d’Excellence IT - FSA Machine Learning 42 / 52
Apprentissage Supervisé
Imaginez que vous commenciez à apprendre le chinois. Pour ce faire,
il vous faudra soit acheter un livre de traduction chinois-français, ou
bien trouver un professeur de chinois.
Le rôle du professeur ou du livre de traduction sera de superviser
votre apprentissage en vous fournissant des exemples de traductions
français- chinois que vous devrez mémoriser.
On parle ainsi d’apprentissage supervisé lorsque l’on fournit à une
machine beaucoup d’exemples qu’elle doit étudier.
Centre d’Excellence IT - FSA Machine Learning 43 / 52
Apprentissage Supervisé
Pour maı̂triser l’apprentissage supervisé, il faut absolument comprendre et
connaitre les 4 notions suivantes :
Le Dataset
Le Modèle et ses paramètres
La Fonction Coût
L’Algorithme d’apprentissage
Centre d’Excellence IT - FSA Machine Learning 44 / 52
Apprentissage Supervisé
Notion 1 : Apprendre à partir d’exemples (Dataset)
Lorsque l’on fournit à une machine beaucoup d’exemples (x,y) dans le but
de lui faire apprendre la relation qui relie x à y.
En Machine Learning, on compile ces exemples (x,y) dans un tableau que
l’on appelle Dataset :
La variable y porte le nom de target (la cible). C’est la valeur que
l’on cherche à prédire.
La variable x porte le nom de feature (facteur). Un facteur influence
la valeur de y et on a en général beaucoup de features (x1,x2. . . )
dans notre Dataset que l’on regroupe dans une matrice X.
Centre d’Excellence IT - FSA Machine Learning 45 / 52
Apprentissage Supervisé
Exemple
Un Dataset qui regroupe des exemples d’appartements avec leur prix ainsi
que certaines de leurs caractéristiques (features).
Centre d’Excellence IT - FSA Machine Learning 46 / 52
Apprentissage Supervisé
Notion 2: Développer un modèle à partir du Dataset
En Machine Learning, on développe un modèle à partir de ce Dataset. Il
peut s’agir d’un modèle linéaire comme vous pouvez le voir à gauche, ou
bien un modèle non-linéaire comme vous pouvez le voir à droite.
On définit a, b, c, etc. comme étant les paramètres d’un modèle.
Centre d’Excellence IT - FSA Machine Learning 47 / 52
Apprentissage Supervisé
Notion 3 : Les erreurs de notre modèle - la Fonction Coût
A noter est qu’un modèle nous retourne des erreurs par rapport à notre
Dataset. On appelle Fonction Coût l’ensemble de ces erreurs (le plus
souvent on prend la moyenne quadratique des erreurs).
Centre d’Excellence IT - FSA Machine Learning 48 / 52
Apprentissage Supervisé
Notion 3 : Les erreurs de notre modèle - la Fonction Coût
Allons droit au but : Avoir un bon modèle, c’est avoir un modèle qui nous
donne de petites erreurs, donc une petite Fonction Coût.
Centre d’Excellence IT - FSA Machine Learning 49 / 52
Apprentissage Supervisé
Notion 4 : Apprendre, c’est minimiser la Fonction Coût
Apprentissage: Optimisation des paramètres pour minimiser la Fonction
Coût (erreur sur les exemples ) Pour cela, on utilise un algorithme
d’apprentissage, l’exemple le plus courant étant l’algorithme de Gradient
Descent.
Généralisation: le but c’est estimer de bonnes réponses pour des entrées
x inconnues.
Centre d’Excellence IT - FSA Machine Learning 50 / 52
Conclusion
1- Le Dataset
En Machine Learning, tout démarre d’un Dataset qui contient nos
données. Dans l’apprentissage supervisé, le Dataset contient les questions
x et les réponses y au problème que la machine doit résoudre.
2- Le modèle et ses paramètres
A partir de ce Dataset, on crée un modèle, qui n’est autre qu’une fonction
mathématique. Les coefficients de cette fonction sont les paramètres du
modèle.
Centre d’Excellence IT - FSA Machine Learning 51 / 52
Conclusion
3- La Fonction Coût
Lorsqu’on teste notre modèle sur le Dataset, celui-ci nous donne des
erreurs. L’ensemble de ces erreurs, c’est ce qu’on appelle la Fonction Coût.
4- L’Algorithme d’apprentissage
L’idée centrale du Machine Learning, c’est de laisser la machine trouver
quels sont les paramètres de notre modèle qui minimisent la Fonction Coût.
Centre d’Excellence IT - FSA Machine Learning 52 / 52