Apparus en 1985, les réseaux de neurones multicouches (RNMC) sont aujourd’hui les
associations non linéaires entre l’entrée
L’algorithme d’apprentissage, d’un MP, le plus connu est l’algorithme standard de la
rétropropagation de l’erreur du gradient. Malgré sa facilité de mise en œuvre cet algorithme
.2. Architecture générale d’un réseau de neurones multicouches
L’architecture du RNMC est donnée dans la Fig.1. Les neurones d’entrées et les neurones de
la sortie d’une couche représente l’entrée de la suivante. Chaque c
: Architecture générale d’un réseau de neurones multicouches
d’un réseau de neurones multicouches
est une fonction d’activation généralement non linéaire
Algorithme d’apprentissage des RNMC
L’algorithme de la rétropropagation de l’erreur du gradient est l’algorithme d’apprentissage le
certaine fonction coût (critère d’optimisation). Généralement, cette fonction est égale à la
est une fonction convexe des erreurs de sorties appelée fonction d’oubli.
Pour l’algorithme standard de la rétropropagation on prend
est le coefficients d’apprentissage.
synaptiques, on obtient les équations d’adaptation des poids pour chaque couche du réseau.
L’application de
Appliquant d’abord la méthode du gradient a
Par analogie avec l’équation d’adaptation (3.9) pour la couche de sortie, l’estimée de l’erreur
L’équation d’adaptation pour cette couche aura alors la même forme de l’équation obtenue
, l’équation d’adaptation (3.12) devient
Le tableau suivant résume les différentes étapes de l’algorithme de la rétropropagation.
Propager un vecteur d’apprentissage et calculer pour
Tester l’erreur quadratique totale
étapes de l’algorithme standard de la rétropropagation