Deep Learning
Proposé par : Dr. Ben Othman Ibtissem
Machine Learning vs Deep Learning
Machine Learning vs Deep Learning
La forêt du Machine Learning
Et encore, ce n’est qu’une partie !!
Définition DNN
L'apprentissage profond ou apprentissage en
profondeur (deep learning, deep structured
learning, hierarchical learning) est un ensemble de
méthodes d’apprentissage automatique tentant de
modéliser avec un haut niveau d’abstraction des données
grâce à des architectures articulées de différentes
transformations non linéaires.
Définition DNN
Les techniques d'apprentissage profond constituent une
classe d’algorithmes d'apprentissage automatique qui :
Utilisent différentes couches d’unité de traitement non linéaire
pour l’extraction et la transformation des caractéristiques ;
chaque couche prend en entrée la sortie de la précédente ;
les algorithmes peuvent être supervisés ou non supervisés, et
leurs applications comprennent la reconnaissance de modèles et la
classification statistique ;
Fonctionnent avec un apprentissage à plusieurs niveaux de
détail ou de représentation des données ;
à travers les différentes couches, on passe de paramètres de bas niveau
à des paramètres de plus haut niveau, où les différents niveaux
correspondent à différents niveaux d’abstraction des données.
Définition DNN
Ces architectures permettent aujourd’hui de conférer du
«sens» à des données en leur donnant la forme d’images,
de sons ou de textes.
L'apprentissage profond utilise des couches cachées de
réseaux de neurones artificiels, et des séries de calculs
propositionnels complexes.
Les algorithmes d'apprentissage profond s’opposent aux
algorithmes d’apprentissage peu profonds du fait du
nombre de transformations réalisées sur les données entre
la couche d’entrée et la couche de sortie, où une
transformation correspond à une unité de traitement
définie par des poids et des seuils.
Historique DNN
Historique DNN
Historique DNN
Le concept d'apprentissage profond prend forme dans les
années 2010, avec la convergence de quatre facteurs :
Des réseaux de neurones artificiels multicouches (eux-mêmes
issus entre autres du concept de perceptron, datant de la fin des
années 1950) ;
Des algorithmes d'analyse discriminante et apprenants (dont
l'émergence remonte aux années 1980) ;
Des machines dont la puissance de traitement permet de traiter
des données massives ;
Des bases de données suffisamment grandes, capables
d'entraîner des systèmes de grandes tailles.
Historique DNN
Applications DNN
Applications DNN
Ces techniques ont permis des progrès importants et
rapides dans les domaines de l'analyse du signal sonore ou
visuel et notamment de la reconnaissance faciale, de
la reconnaissance vocale, de la vision par ordinateur,
du traitement automatisé du langage.
Dans les années 2000, ces progrès ont suscité des
investissements privés, universitaires et publics
importants, notamment de la part des GAFAM (Google,
Apple, Facebook, Amazon, Microsoft).
Applications DNN
L'apprentissage profond s'applique à divers secteurs :
La reconnaissance visuelle; par exemple, d'un panneau de
signalisation par un robot ou une voiture autonome — et vocale ;
La robotique ;
La bioinformatique, p. ex., pour l'étude de l'ADN et des segments non
codants du génome5, ou encore la Cytométrie;
La reconnaissance ou la comparaison de formes ;
La sécurité ;
La santé ;
La pédagogie assistée par l'informatique ;
L'art ;
L'intelligence artificielle en général ;
La traduction.
Applications DNN
Vision applications
Application DNN
En octobre 2015, le programme AlphaGo, à qui l'on a
« appris » à jouer au jeu de go grâce à la méthode de
l'apprentissage profond, bat le champion européen Fan
Hui par 5 parties à 0. En mars 2016, le même programme
bat le champion du monde Lee Sedol par 4 parties à 1.
Types DNN
Basic Deep Neural Networks : DNN
A simple, multilayer deep neural network takes two
classes of data, denoted by the different colors, and makes
them linearly separable by iteratively distorting the data as
it flows from layer to layer. The final output layer serves
as a classifier by outputting the probability of either one of
the classes.
Classical Deep Neural Network : DNN
Réseaux de neurones :Structure constituée d’un ensemble
(couches) de briques élémentaires (neurones) effectuant
chacune des opérations simples
Convolutional Neural Networks : CNN
Un réseau de neurones convolutifs (CNN) est une
méthode d'apprentissage automatique reposant sur
l'apprentissage profond.
Convolutional Neural Networks : CNN
Blocs de construction du CNN:
1. Couche de convolution (CONV)
a. Paramétrage
b. Partage des paramètres
2. Couche de pooling (POOL)
3. Couches de correction (ReLU)
4. Couche entièrement connectée (FC)
5. Couche de perte (LOSS)
Convolutional Neural Networks : CNN
Convolutional Neural Networks : CNN
Convolutional Neural Networks : CNN
Convolutional Neural Networks : CNN
Convolutional Neural Networks : CNN
CNN
Convolution
[Link]
[Link]
CNN
Convolution
CNN
Pooling
Convolutional Neural Networks : CNN
Step by step
[Link]
to-convolutional-neural-networks-the-eli5-way-
3bd2b1164a53
[Link]
convolutional-neural-networks
Reccurent Neural Network: RNN
Reccurent Neural Network: RNN
Un réseau de neurones récurrents est un réseau de
neurones artificiels présentant des connexions récurrentes.
Un réseau de neurones récurrents est constitué de
neurones interconnectées interagissant non-linéairement et
pour lequel il existe au moins un cycle dans la structure.
Les unités sont reliées par des arcs (synapses) qui
possèdent un poids. La sortie d'un neurone est une
combinaison non linéaire de ses entrées.
Reccurent Neural Network: RNN
Les techniques d'entraînement du réseau sont les mêmes
que pour les réseaux classiques (rétropropagation du
gradient), néanmoins les réseaux de neurones récurrents se
heurtent au problème de disparition du gradient pour
apprendre à mémoriser des évènements passés.
Des architectures particulières répondent à ce dernier
problème, on peut citer en particulier les réseaux Long
short-term memory.
On peut étudier les comportements des réseaux de
neurones récurrents avec la théorie des bifurcations, mais
la complexité de cette étude augmente très rapidement
avec le nombre de neurones.
Références
[Link]
[Link]
nvolutif
[Link]
_r%C3%A9currents