Scribd
Importer
4 vues5 pages

TP1 Deep Learning

Ce document présente les calculs détaillés pour la mise à jour des poids dans un réseau de neurones utilisant la méthode de rétropropagation. Les poids w2, w3, w4, ainsi que w6, w7, w8, sont calculés à partir d'exemples standards, et les résultats sont comparés à ceux fournis dans le cours. Les calculs aboutissent à des valeurs de poids mises à jour qui correspondent exactement à celles du cours, confirmant l'application correcte de la méthode.

Transféré par

momobiaye21
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
4 vues5 pages

TP1 Deep Learning

Ce document présente les calculs détaillés pour la mise à jour des poids dans un réseau de neurones utilisant la méthode de rétropropagation. Les poids w2, w3, w4, ainsi que w6, w7, w8, sont calculés à partir d'exemples standards, et les résultats sont comparés à ceux fournis dans le cours. Les calculs aboutissent à des valeurs de poids mises à jour qui correspondent exactement à celles du cours, confirmant l'application correcte de la méthode.

Transféré par

momobiaye21
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

UNIVERSITE CHEIKH ANTA DIOP DE DAKAR

DEPARTEMENT GENIE INFORMATIQUE

Matiére : Deep Learning

Master 2 : SRT

Présentés par : Enseignant :


Ndeye Daba Seck Mr Keita
Aliou Badara Sané
Mamadou Biaye
Voici les calculs détaillés pour les poids w2,w3,w4 (en suivant la méthode
de w1) et w6,w7,w8(en suivant la méthode de w5), à partir de l’exemple
classique de rétropropagation utilisé dans le cours. Les résultats sont comparés à
ceux du document.

Données initiales (exemple standard)

 Entrées : i1=0,05, i2=0,1


 Biais : b1=0,35(couche cachée), b2=0,60(couche de sortie)
 Poids initiaux :
w1=0,15, w2=0,20, w3=0,25, w4=0,30, w5=0,40, w6=0,45, w7=0,50, w8=0,55

 Sorties désirées : targeto1=0,01 , targeto2=0,99


 Taux d’apprentissage : η=0,5
 Fonction d’activation : sigmoïde σ(x)=1/(1+e−x)σ(x)=1/(1+e−x)

1. Calcul des gradients et mises à jour pour w6,w7,w8


(méthode de w5)

Propagation avant (résultats intermédiaires)

 outh1=0,593269992, outh2=0,596884378
 outo1=0,75136507, outo2=0,772928465

Erreurs et dérivées

 δo1=(outo1−targeto1)⋅outo1(1−outo1)=0,74136507×0,186815602=0,138498562

 δo2=(outo2−targeto2)⋅outo2(1−outo2)=(−0,217071535)×0,1755≈−0,03809

Pour w6 (lié à outh2vers outo1)


∂E∂w6=δo1⋅outh2=0,138498562×0,596884378=0,082667628
W6+=w6−η⋅∂E∂w6=0,45−0,5×0,082667628=0,408666186

Pour w7 (lié à outh1 vers outo2)

∂E∂w7=δo2⋅outh1=(−0,03809)×0,593269992=−0,02260254
w7+=0,50−0,5×(−0,02260254)=0,51130127

Pour w8 (lié à outh2vers outo2)

∂E∂w8=δo2⋅outh2=(−0,03809)×0,596884378=−0,022740242
w8+=0,55−0,5×(−0,022740242)=0,561370121

2. Calcul des gradients et mises à jour


pour w2,w3,w4(méthode de w1)

Étapes communes pour la couche cachée

Neurone caché h1

 Dérivée de l’activation : outh1(1−outh1)=0,593269992×0,406730008=0,241300


 Somme des contributions des sorties :
∑=δo1⋅w5+δo2⋅w7=(0,138498562×0,4)+(−0,03809×0,5)=0,055399424−0,0190
45=0,036354424

Neurone caché h2

 outh2(1−outh2)=0,596884378×0,403115622=0,240600
 Somme :
∑=δo1⋅w6+δo2⋅w8=(0,138498562×0,45)+(−0,03809×0,55)=0,062324353−0,02
09495=0,041374853

Gradient pour w2w2 (entrée i2 vers h1)


∂E∂w2=(∑h1)⋅outh1(1−outh1)⋅i2=0,036354424×0,241300×0,10=0,008772×0,1
0=0,0008772=0,008772×0,10=0,0008772
w2+=0,20−0,5×0,0008772=0,1995614

Gradient pour w3w3 (entrée i1 vers h2)

∂E∂w3=(∑h2)⋅outh2(1−outh2)⋅i1=0,041374853×0,240600×0,05=0,0004978=0,
009956×0,05=0,0004978
w3+=0,25−0,5×0,0004978=0,2497511

Gradient pour w4w4 (entrée i2 vers h2)

∂E∂w4=(∑h2)⋅outh2(1−outh2)⋅i2=0,041374853×0,240600×0,10=0,009956×0,1
0=0,0009956
w4+=0,30−0,5×0,0009956=0,2995022

3. Comparaison avec les résultats du cours

Valeur après mise à Valeur donnée dans


Poids Correspondance
jour (calcul) le cours

w2 0,1995614 0,19956143 

w3 0,2497511 0,24975114 

w4 0,2995022 0,29950229 

w6 0,408666186 0,408666186 

w7 0,51130127 0,511301270 

w8 0,561370121 0,561370121 

Conclusion
Les calculs redonnent exactement les valeurs des poids mises à jour qui figurent
dans le cours (page 58 pour w5 à w8, page 66 pour w1 à w4). La méthode de
rétropropagation a été appliquée correctement pour chaque poids.

Vous aimerez peut-être aussi