Scribd
Importer
0 vues11 pages

Intro_DeepLearning-pages-2

Le document présente une introduction au Deep Learning, en se concentrant sur les réseaux de neurones multi-couches et leur application à la classification d'images, notamment avec la base de données MNIST. Il mentionne des ressources bibliographiques, y compris un livre en ligne de Michael Nielsen et des cours vidéo du Collège de France. Des concepts tels que la méthode d'apprentissage linéaire et le modèle du Perceptron sont également abordés.

Transféré par

tchita.oussama
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
0 vues11 pages

Intro_DeepLearning-pages-2

Le document présente une introduction au Deep Learning, en se concentrant sur les réseaux de neurones multi-couches et leur application à la classification d'images, notamment avec la base de données MNIST. Il mentionne des ressources bibliographiques, y compris un livre en ligne de Michael Nielsen et des cours vidéo du Collège de France. Des concepts tels que la méthode d'apprentissage linéaire et le modèle du Perceptron sont également abordés.

Transféré par

tchita.oussama
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Introduction au Deep Learning

Réseaux de neurones multi-couches

Eléments bibliographiques

Exposé basé sur le livre en ligne de Michael Nielsen


[Link]
avec codes en Python :
[Link]

et exemples d’utilisation de la librairie Theano de Python


Introduction au Deep Learning
Réseaux de neurones multi-couches

Eléments bibliographiques

Exemple illustratif : base de données MNIST 1

Image de taille d = 28 × 28 = 784 pixels, K = 10 classes

1. [Link]
Introduction au Deep Learning
Réseaux de neurones multi-couches

Eléments bibliographiques
Classification par réseaux de neurones convolutionnels

Ensemble d’apprentissage de 50000 images


Taux de classification > 99%
Ensemble test de 10000 images : taux de classification > 99%
Introduction au Deep Learning
Réseaux de neurones multi-couches

Eléments bibliographiques
33 images mal-classées sur l’ensemble test 1

Vraie classe : coin supérieur droit


Classe prédite : coin inférier droit
1. [Link]
Introduction au Deep Learning
Réseaux de neurones multi-couches

Eléments bibliographiques

Pour ceux qui n’aiment pas la lecture...


Vidéos en ligne sur le site du Collège de France :

Cours de Yann LeCun, “L’apprentissage profond : théorie et


pratique”, Collège de France (2015-2016), Informatique et
Sciences du Numérique.
[Link]/site/yann-lecun/[Link]

Cours de Stéphane Mallat, “Mystères mathématiques des


réseaux de neurones convolutionnels”, Collège de France
(2015-2016), Informatique et Sciences du Numérique.
[Link]/site/yann-lecun/seminar-2016-02-19-15h30.
Introduction au Deep Learning
Réseaux de neurones multi-couches

Méthode d’apprentissage linéaire

Choix d’une méthode d’apprentissage - séparation de classes par


un hyperplan
Introduction au Deep Learning
Réseaux de neurones multi-couches

Méthode d’apprentissage linéaire

Choix d’une méthode d’apprentissage - séparation de classes par


un hyperplan


Equation d’un hyperplan x ∈ Rd : hx, wi + b = 0 où
θ = (w, b) ∈ Rd × R sont les paramètres de l’hyperplan (ici d = 2)
Introduction au Deep Learning
Réseaux de neurones multi-couches

Méthode d’apprentissage linéaire


Choix d’une méthode d’apprentissage - séparation de classes par
un hyperplan


Points au-dessus de l’hyperplan x ∈ Rd : hx, wi + b > 0

Points au-dessous de l’hyperplan x ∈ Rd : hx, wi + b < 0
Introduction au Deep Learning
Réseaux de neurones multi-couches

Méthode d’apprentissage linéaire


Choix d’une méthode d’apprentissage - séparation de classes par
un hyperplan

Règle de classification f (x, θ) = σ (hx, wi + b) avec σ(z) = 11R+ (z) ou


1
σ(z) = 1+exp(−z) avec θ = (w, b) ∈ Rd × R
Introduction au Deep Learning
Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Neurone de base : modèle du Perceptron (Rosenblatt, 1957)

Source : [Link]

Combinaison linéaire de x ∈ Rd avec les poids ω1 , . . . , ωd et un biais b


Fonction non-linéaire d’activation f (z) = σ(z) = 11{z≥0}
Introduction au Deep Learning
Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Neurone de base : modèle du Perceptron (Rosenblatt, 1957)

Source : [Link]

Combinaison linéaire de x ∈ Rd avec les poids ω1 , . . . , ωd et un biais b


1
Autre choix σ(z) = 1+exp(−z) (sigmoı̈de) ou σ(z) = max(0, z) (ReLU)

Vous aimerez peut-être aussi