Scribd
Importer
0 vues11 pages

Intro_DeepLearning-pages-3

Le document présente une introduction au Deep Learning, en se concentrant sur la construction de réseaux de neurones multi-couches, notamment le Perceptron à couche unique et le Perceptron multi-couches. Il décrit les formules mathématiques associées aux différentes architectures de réseaux et illustre des exemples de classification dans un espace à deux dimensions. L'optimisation par descente de gradient est également abordée pour améliorer les performances des modèles.

Transféré par

tchita.oussama
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
0 vues11 pages

Intro_DeepLearning-pages-3

Le document présente une introduction au Deep Learning, en se concentrant sur la construction de réseaux de neurones multi-couches, notamment le Perceptron à couche unique et le Perceptron multi-couches. Il décrit les formules mathématiques associées aux différentes architectures de réseaux et illustre des exemples de classification dans un espace à deux dimensions. L'optimisation par descente de gradient est également abordée pour améliorer les performances des modèles.

Transféré par

tchita.oussama
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Introduction au Deep Learning

Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Single layer Perceptron

Source : [Link]

Ecriture condensée : fθ (x0 ) = σ1 (W1 x0 + b1 ), où


σ1 : Rd1 → Rd1 est une fonction non-linéaire entrée par entrée
W1 ∈ Rd×d1 (poids) b1 ∈ Rd1 (biais)
θ = (W1 , b1 ) : paramètres du réseau
Introduction au Deep Learning
Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Single layer Perceptron - Régression

Source : [Link]

Ecriture condensée : fθ (x0 ) = W2 σ1 (W1 x0 + b1 ) + b2 ,


avec W1 ∈ Rd×d1 , b1 ∈ Rd1 , W2 ∈ Rd1 ×1 , b2 ∈ R et θ = (W1 , b1 , W2 , b2 )
Introduction au Deep Learning
Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Single layer Perceptron - Classification

Source : [Link]

Ecriture condensée : fθ (x0 ) = σsoftmax (W2 σ1 (W1 x0 + b1 ) + b2 ),


avec W1 ∈ Rd×d1 , b1 ∈ Rd1 , W2 ∈ Rd1 ×K , b2 ∈ RK et θ = (W1 , b1 , W2 , b2 )
Introduction au Deep Learning
Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Multi-layer Perceptron

Source : [Link]

Ecriture condensée - entrée x0 ∈ Rd , sortie xL , puis, pour ` = 1, . . . , L,


faire x` = σ` (W` x`−1 + b` ) avec σL = Id ou bien σL = σsoftmax
Introduction au Deep Learning
Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Multi-layer Perceptron

Source : [Link]

exp(x(k) )
Si xL−1 = (x(1) , . . . , x(K) ) alors [σsoftmax (xL−1 )]k = PK (`) ) pout tout
`=1 exp(x
1 ≤ k ≤ K.
Introduction au Deep Learning
Réseaux de neurones multi-couches

Construction d’un réseau de neurones


Multi-layer Perceptron

Source : [Link]

Réseau de neurones profonds : “nombreuses” couches cachées


Introduction au Deep Learning
Réseaux de neurones multi-couches

Exemple : classification dans R2 avec K = 4 classes


Visualisation des données - Mélange gaussien

10
5
x[,2]

0
−5

−5 0 5 10

x[,1]
Introduction au Deep Learning
Réseaux de neurones multi-couches

Exemple : classification dans R2 avec K = 4 classes


Classificiation optimale : règle de Bayes (indépendante des données)

10
5
x[,2]

0
−5

−5 0 5 10

x[,1]
Introduction au Deep Learning
Réseaux de neurones multi-couches

Exemple : classification dans R2 avec K = 4 classes


Single-layer Perceptron avec 1 neurone dans la couche cachée
Optimisation par descente de gradient (BFGS, librairie nnet de R)
10
5
x[,2]

0
−5

−5 0 5 10

x[,1]
Introduction au Deep Learning
Réseaux de neurones multi-couches

Exemple : classification dans R2 avec K = 4 classes


Single-layer Perceptron avec 2 neurones dans la couche cachée
Optimisation par descente de gradient (BFGS, librairie nnet de R)
10
5
x[,2]

0
−5

−5 0 5 10

x[,1]
Introduction au Deep Learning
Réseaux de neurones multi-couches

Exemple : classification dans R2 avec K = 4 classes


Single-layer Perceptron avec 10 neurones dans la couche cachée
Optimisation par descente de gradient (BFGS, librairie nnet de R)
10
5
x[,2]

0
−5

−5 0 5 10

x[,1]

Vous aimerez peut-être aussi