24/02/2023
Réseau de neurones
Un neurone
Introduction
x0 x1 … y
▪ Une technique de modélisation
basée sur les réseaux de neurones
Apprentissage sera utilisée dans toute la suite
Supervisé
de ce cours
Régression Classification
Bi-classes Multi-classes
C1 (1) C2 (0/-1) C1 … Ci … Ck
1
24/02/2023
Neurone biologique et neurone artificiel
Neurone artificiel
2
24/02/2023
Neurone artificiel
Poids
x1 b Bais (Seuil)
w1
Poids ou coefficients
synaptiques
w2 Sortie
.x2 f(.)
Entrées . wi
x. i
wn
Somme Fonction
xn pondérée d’activation
Neurone artificiel
Poids
x1 b Bais (Seuil)
w1
Sortie
w2
.x2 f(.)
Entrées . wi
x. i
wn
z ∑ +b
xn
3
24/02/2023
Neurone artificiel
Poids x=1
x1
w1 b=wn+1
Sortie
w2
.x2 f(.)
Entrées . wi
x.i
wn
z ∑ 1
xn z ∑ z ∑
Fonction d’activation (Fonctions de transfert)
4
24/02/2023
Apprentissage
Poids
x1 b Bais (Seuil)
w1
w2 Sortie
Les entrées .x2 f(.)
doivent être .
numériques wi
sinon elles sont x.i
converties wn
xn
Trouver les poids Apprentissage
Apprentissage
Règles d’apprentissage
Il existe plusieurs Règles d’apprentissage:
– Règle de Hebb (Hebbian rule)
– Règle de Widrow-Hoff (Delta rule)
– Règle de Perceptron (Perceptron rule)
– Règle d’apprentissage Delta (Delta learning
rule)
5
24/02/2023
Apprentissage
Règles d’apprentissage
Il existe plusieurs Règles d’apprentissage:
– Règle de Hebb (Hebbian rule)
– Règle de Widrow-Hoff (Delta rule)
– Règle de Perceptron (Perceptron rule)
– Règle d’apprentissage Delta (Delta learning
rule)
Règle de Hebb (Hebbian rule)
Poids
x1 b Bais (Seuil)
w1
Label cible
w2 Sortie
Les entrées .x2 f(.)
(traget)
doivent être .
numériques wi
sinon elles sont x.i
converties wn
xn Règle de Hebb :
Trouver les poids
6
24/02/2023
Règle de Hebb (Hebbian rule)
Algorithme :
: pas d’apprentissage • est une constante positive.
(learning rate) • Initialisation des poids wi et du seuil b à des valeurs (petites) choisies au
Macro paramètre hasard.
• Tant que’il y’a des exemples dans la base d'apprentissage à traiter :
• Prendre une entrée X = (x1, ... xn) de la base d'apprentissage
• Calculer la sortie y du réseau pour l ’entrée X
– z = ∑(wi *xi) + b
– y = f (z)
• Si y ≠ t (t traget la sortie désirée pour X)
• wij = wij + ∗ (xi ∗ t) (Modification des poids )
• Fin Si
•Fin tant que
Règle de Hebb (Hebbian rule)
Exemple
W1=?
b =? x1 x2 t La base d ’apprentissage (X, t) :
x1
w1 1 1 1 (1) X est le vecteur associé à l ’entrée
1 -1 1 (2) (x1, …, xn)
y t la sortie correspondante
-1 1 -1 (3)
w2 souhaitée
x2 -1 -1 -1 (4)
W2=?
Règle de Hebb :
7
24/02/2023
Règle de Hebb (Hebbian rule)
Exemple :
▪ Conditions initiales : = +1, les poids et le seuil sont nuls.
W1=W2=b=0
x1 x2 t
x1 1 1 1 (1)
w1 b 1 -1 1 (2)
-1 1 -1 (3)
y
-1 -1 -1 (4)
x2 w2
Base d'apprentissage
Fonction d’activation= Seuil symétrique
1 !0
1 #0
Règle de Hebb (Hebbian rule)
x1 x2 t Algorithme :
1 1 1 (1) • =1.
1 -1 1 (2) • w1=w2=b=0.
-1 1 -1 (3) • Tant que il y’a des exemples dans la base d'apprentissage à traiter :
-1 -1 -1 (4) • Prendre une entrée X = (x1, ... xn) de la base d'apprentissage
• Calculer la sortie y du réseau pour l ’entrée X
– z = ∑(wi *xi) + b
z = 0∗1 + 0∗1=0 – y = f (z)
• Si y ≠ t (t traget la sortie désirée pour X)
• wij = wij + ∗ (xi ∗ t) (Modification des poids )
• Fin Si
•Fin tant que
8
24/02/2023
Règle de Hebb (Hebbian rule)
x1 x2 t Algorithme :
1 1 1 (1) • =1.
1 -1 1 (2) • w1=w2=b=0.
-1 1 -1 (3) • Tant que il y’a des exemples dans la base d'apprentissage à traiter :
-1 -1 -1 (4) • Prendre une entrée X = (x1, ... xn) de la base d'apprentissage
• Calculer la sortie y du réseau pour l ’entrée X
z = 0∗1 + 0∗1=0 – z = ∑(wi *xi) + b
– y = f (z)
y = f(z)=f(0)=-1 • Si y ≠ t (t traget la sortie désirée pour X)
• wij = wij + ∗ (xi ∗ t) (Modification des poids )
Fonction d’activation= Seuil symétrique • Fin Si
1 !0
1 #0
•Fin tant que
Règle de Hebb (Hebbian rule)
x1 x2 t Algorithme :
1 1 1 (1) • =1.
1 -1 1 (2) • w1=w2=b=0.
-1 1 -1 (3) • Tant que il y’a des exemples dans la base d'apprentissage à traiter :
-1 -1 -1 (4) • Prendre une entrée X = (x1, ... xn) de la base d'apprentissage
• Calculer la sortie y du réseau pour l ’entrée X
– z = ∑(wi *xi) + b
– y = f (z)
(y = − 1) ≠ (t=1 ) • Si y ≠ t (t traget la sortie désirée pour X)
⇒ w1 =? • wij = wij + ∗ (xi ∗ t) (Modification des poids )
w2 = ? • Fin Si
•Fin tant que
9
24/02/2023
Règle de Hebb (Hebbian rule)
x1 x2 t Algorithme :
1 1 1 (1) • =1.
1 -1 1 (2) • w1=w2=b=0.
-1 1 -1 (3) • Tant que il y’a des exemples dans la base d'apprentissage à traiter :
-1 -1 -1 (4) • Prendre une entrée X = (x1, ... xn) de la base d'apprentissage
• Calculer la sortie y du réseau pour l ’entrée X
– z = ∑(wi *xi) + b
w1 = w1 + *(x1 ∗ t)
– y = f (z)
• Si y ≠ t (t traget la sortie désirée pour X)
=0+1*1*1= 1 • wij = wij + ∗ (xi ∗ t) (Modification des poids )
w2 = w2 + *(x2 ∗ t) • Fin Si
=0+1*1*1= 1 •Fin tant que
Règle de Hebb (Hebbian rule)
▪ Le changement des poids est appliqué avec chaque vecteur des
données d’apprentissage
▪ Lorsque tous les données d’apprentissage ont été parcourus une
epoch d’apprentissage a été complétée,
▪ Lorsque tous les sorties du perceptron coïncident avec toutes les
valeurs de sorties cibles on dit que le modèle a convergé vers une
solution,
▪ Si la base d’apprentissage n’est pas linéairement séparable
l’algorithme d’apprentissage du perceptron ne se terminera jamais.
10
24/02/2023
Règle de Hebb (Hebbian rule)
• Exemple (1) ⇒ w1 = w2= 1
x1 x2 t
• Exemple (2) : y = f(1.1 + 1.-1 )=− 1
1 1 1 (1)
y=−1≠1=t
1 -1 1 (2)
⇒ w1 = w1 + e1 ∗ x = 1 + 1.1= 2
-1 1 -1 (3)
w2 = w2 + e2 ∗ x = 1 + 1.-1 = 0
-1 -1 -1 (4)
• Exemples (3) OK est correctement traité :
y = f(-2) = − 1 (la sortie est bonne).
•Exemples (4) OK
• Exemples (1) et (2) OK ⇒ STOP
Règle d’apprentissage du Perceptron
(Perceptron learning rule)
Règles d’apprentissage
Il existe plusieurs Règles d’apprentissage:
– Règle de Hebb (Hebbian rule)
– Règle de Widrow-Hoff (Delta rule)
–Règle de Perceptron (Perceptron rule)
– Règle d’apprentissage Delta (Delta learning
rule)
11
24/02/2023
Règle d’apprentissage du Perceptron
(Perceptron learning rule)
Algorithme :
• est une constante positive.
• Initialisation des poids wi et du seuil b à des valeurs (petites) choisies au
hasard.
• Tant que il y’a des exemples dans la base d'apprentissage à traiter :
• Prendre une entrée X = (x1, ... xn) de la base d'apprentissage
• Calculer la sortie y du réseau pour l ’entrée X
– z = ∑(wi *xi) + b
– y = f (z)
• Si y ≠ t (t traget la sortie désirée pour X)
• %&
'
• Fin Si
•Fin tant que
Règle d’apprentissage du Perceptron
(Perceptron learning rule)
( (%
∆ (%
∆ (%
( (%
*
Pas
d’apprentissage Résultat cible Résultat du Donnée
(Learning rate) (Traget) modèle d’apprentissage
12
24/02/2023
Règle d’apprentissage du Perceptron
(Perceptron learning rule)
Considérant le perceptron à un neurone de la
Figure 1 et les données d’apprentissage du
Tableau 1. En utilisant la fonction d’activation
seuil et en initialisant
▪ =1 et
▪ , , , =(0.282, 0.621, 0.307), N° x0 x1 t
déterminer les valeurs de w0, w1 et S pour 1 -1 1 1
les couples (epoch, itération) suivants : 2 -1 -1 1
(1, 2) ; (2, 3) et (4, 4). Indiquer pour
chaque couple si le perceptron converge ou 3 0 0 0
pas. 4 1 0 0
13