Scribd
Importer
4 vues2 pages

Réseau de neurones : calculs et mise à jour

Le document présente un exercice sur un réseau de neurones, demandant de déterminer les formules mathématiques pour les sorties intermédiaires et finales, ainsi que les paramètres du réseau. Il inclut également des questions sur l'application de l'algorithme de backpropagation pour calculer les dérivées de la fonction d'erreur et sur la mise à jour des paramètres via le gradient stochastique. Un second exercice propose des valeurs spécifiques pour calculer les sorties et les mises à jour des paramètres après une itération.

Transféré par

tuancong199914
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
4 vues2 pages

Réseau de neurones : calculs et mise à jour

Le document présente un exercice sur un réseau de neurones, demandant de déterminer les formules mathématiques pour les sorties intermédiaires et finales, ainsi que les paramètres du réseau. Il inclut également des questions sur l'application de l'algorithme de backpropagation pour calculer les dérivées de la fonction d'erreur et sur la mise à jour des paramètres via le gradient stochastique. Un second exercice propose des valeurs spécifiques pour calculer les sorties et les mises à jour des paramètres après une itération.

Transféré par

tuancong199914
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

TD2

Exercice 1
Soit le réseau de neurones décrit par le graphe suivant :

Couche
Entrée b1 cachée Sortie
+
g1
w1 a11 h11 w3
g2
x w2 a21 y
g1
a12 h12 w4 +

+ b3
b2

1. Donner les formules mathématiques qui déterminent les sorties intermédiaires a11 , a12 , h11 , h12 , a21
ainsi que la sortie finale y.
2. Quels sont les paramètres du réseau ?
3. Soit la fonction d’erreur (Loss) :
(y − ŷ)2
E(w, b) =
2
En appliquant l’algorithme de backpropagation, trouver les expressions ∂E
∂wj pour j = 1, . . . , 4 et ∂E
∂bj
pour j = 1, . . . , 3.
4. Comment s’écrit une mise à jour des paramètres par algorithme du gradient stochastique ?

Exercice 2 (pour les masochistes)


En reprenant l’exercice précédent avec
• x=2
• w1 = −1, b1 = 0.5
• w2 = 1.5, b2 = −2
• g1 (x) = 1
1−ex

• w3 = 1, w4 = −1, b3 = 1
• g2 (x) = 1
1−ex

• yb = 1,

1. Calculer a11 , a12 , h11 , h12 , a21 ainsi que la sortie finale y.

1
2. Calculer ∂E
∂wj pour j = 1, . . . , 4 et ∂E
∂bj pour j = 1, . . . , 3.

3. Avec un taux d’apprentissage (learning rate) égal à 0.1, calculer les nouveaux paramètres wj , bj après
une itération de gradient stochastique.

Vous aimerez peut-être aussi