Université d’Adrar

Faculté des Sciences matériaux, Mathématique et

Informatique
Département
1ème Année Master de Math et Informatique
Informatique
Option : System Intelligent

Réseau de neurones 1

Mr. MAMOUNI EL MAMOUN

1
 Introduction

Approches informatiques pour résoudre un

problème:
 Approche algorithmique (programmation
complète)

 Création des « moteurs d’inférence »

(programme qui raisonne ; règles SI..ALORS.. ;
système expert)

 Approche connexionniste : le réseau s’organise

par apprentissage
2
 Introduction

Caractéristiques de l’approche
connexionniste (réseaux neuronaux) :
 Calcul non-algorithmique
 Information et mémoire distribuée dans le
réseau
 Architecture massivement parallèle (processeurs
élémentaires interconnectés)
 Apprentissage par entraînement sur des
exemples
3
 Inspiré du fonctionnement du cerveau
 Introduction

 Réseaux de Neurones Artificiels (RNA)

- Les réseaux de neurones artificiels représentent
une famille d'algorithmes informatiques inspirés
des mécanismes de fonctionnement du cerveau.

4
 Le cerveau
humain
Cerveau est un organe qui analysent les infos
sensorielles afin de donner des réponses basées sur
l’expérience, les réflexes….

Structure topographique
• Lobe Frontal
• Lobe Pariétal
• Lobe Temporale
• Lobe Occipital

5
 Le cerveau
humain
Le lobe frontal (‫)الفص الجبهي‬

Le lobe frontal est responsable de la coordination

motrice volontaire (‫ )التنسيق الحركي طوعي‬:
Il contrôle la coordination musculaire.
(‫)التنسيق و التحكم في العضالت‬
Les mouvements rythmiques de la tête et du
cou, comme :
•La mastication (‫)المضغ‬.
•Le léchage (‫)اللعق‬.
•La déglutition (‫)البلع‬. 6
 Le cerveau
humain
Le lobe pariétal (‫)الفص الجداري‬

Le lobe pariétal contient les centres qui traitent les

impulsions nerveuses liées au sens du toucher (‫حاسة‬
‫)اللمس‬.
 C'est là que sont analysées et traitées les
informations liées à la :
•Température (‫)درجة الحرارة‬.
•La texture (‫)الملمس‬.
•La taille (‫)الحجم‬.
•La forme (‫)الشكل‬. 7
 Le cerveau
humain
Le lobe temporal (‫)الفص الصدغي‬

Le lobe temporal contient les centres de traitement

et de corrélation des sens :
•Auditif (ouïe)(‫)حاسة السمع‬.
•Olfactif (odorat)(‫) حاسة الشم‬.

Le lobe occipital (‫)الفص القذالي‬

Le lobe occipital contient les centres responsables

de la vision.
8
 Le cerveau
humain

• Cerveau est vu comme un organe caractérisé

par l’interconnexion d’un nombre élevé de
neurones :
– 10 milliards de neurones.
– 60 milliards de connexions (synapses).

9
 Le cerveau
humain
 Caractéristiques de l’architecture du cerveau
humain :
 Une architecture massivement parallèle
 Un mode de calcul et une mémoire distribués
 Une capacité d'apprentissage
 Une capacité de généralisation
 Une capacité d'adaptation
 Une résistance aux pannes
 Une faible consommation énergétique 10
 Le neurone biologique

• Un neurone est une cellule capable de

transmettre des informations à d’autres
neurones au travers de ses différentes
connexions (synapses).
• Il existe plusieurs types de neurones
avec des fonctionnements différents.
• Les neurone sont inter-connectés et
forment des réseaux.

11
 Le neurone biologique

Dendrite : récepteur des messages

Corps : génère le potentiel d’action
(la réponse)
Axone : transmet le signal aux
cellules suivantes
Synapse : jonction axone - dendrite
(plus ou moins passante)

12
 Le neurone biologique

Les neurones peuvent être classés en

neurones :
•Unipolaires
•Bipolaires
•Multipolaires
Selon le nombre de prolongements de leur
corps cellulaire.

13
14
Le neurone biologique

Les neurones sensitifs (ou sensoriels ) et moteurs,

les interneurones et les neurones endocrines 15
 Modèle d’un neurone
artificiel
La représentation graphique (conventionnelle) d'un
neurone formel modélisé par Mc Culloch et Pitts
(1943 ).

16
 Modèle d’un neurone
artificiel
 Les entrées "E" du
neurone proviennent
soit d’autres éléments
"processeurs", soit de
l’environnement.
 Les poids "W"
déterminent
l’influence de chaque
entrée.
 La fonction de
combinaison "p"
combine les entrées
et les poids. FONCTION
FONCTION
 La fonction de de
de
transfert calcule la COMBINAISO
TRANSFERT
sortie "S" du neurone N 17
 Modèle d’un neurone
artificiel
La Fonction de Combinaison calcule
l’influence de chaque entrée en tenant
compte de son poids. Elle fait la somme des
entrées pondérées :
p = ∑ W i Ei
 Wi : Poids de la
connexion à l’entrée
i.
 Ei : Signal de l’entrée
i.

FONCTION
de
COMBINAISON 18
 Modèle d’un neurone
artificiel

La Fonction de Transfert détermine l'état

du neurone (en sortie)

 Calcul de la sortie :
S = f(p)
ou encore :
S = f(∑ Wi Ei)

FONCTION
de
TRANSFERT 19
 Modèle d’un neurone
artificiel
Neurone formel: le modèle Mc Culloch et Pitts

1,5
1,5
2
-2
-1
-1
3,5
-3,5
-
1,5 1,5

20
Modélisation du neurone

La modélisation du système nerveux

biologique repose sur la correspondance
suivante :
Nerveux biologique RNA
Fonction de
Dendrite
combinaison
Corps du neurone Fonction de transfert

Axone Elément de sortie

Synapse Poids
21
 Système nerveux biologique

Un neurone utilise des dendrites

pour rassembler des données
d’entrée issues d’autres
neurones.
Ces données d’entrée sont
combinées pour produire une
réponse envoyée à d’autres
neurones ou d’autres cellules.
22
 Réseau de neurones
artificiel (RNA)

Les données d’entrée (Ei) sont recueillies à partir des

neurones du flux supérieur puis combinées par une
fonction combinatoire.
Ils sont ensuite entrés dans une fonction d’activation
qui produit une réponse envoyée en entrée à d’autres 23
 Domaines d’application
des RNAs

On utilise des réseaux de neurones artificiels

(RNAs) pour tenter de résoudre des problèmes
complexes qui sont plus faciles à résoudre par
le cerveau que par un ordinateur.
Problèmes de classification :
• Reconnaissance de visages
• Reconnaissance vocale
• Reconnaissance de caractères
Traitement des images (classification)
24
Domaines d’application
des RNAs
- Robotique :
• Apprenant à marcher
• Perception et vision
• contrôle et guidage de robots ou de
véhicules autonomes

- Jeux vidéo

- Beaucoup d’autres applications:

- Approximation de fonctions
• Prédiction – prévision
• Aide à la décision (domaine médical,
bancaire, management, …)
• Optimisation
25
 Réseau de neurones
artificiel (RNA)

Avantage des réseaux de neurones

• Robuste aux données bruitées.
• Permettent de modéliser de grandes variétés
de comportements.
Inconvénients
• Les résultats sont assez opaques.
• La mise en œuvre, qui passe par un
apprentissage, peut être longue.

26
 Historique

 McCulloch & Pitts

1943
Modèle simple de neurone biologique.
Sortie binaire, poids fixes
Pour simuler opérations logiques de base
(ex.: portes ET, OU, OU Exclusif)

 Donald Hebb

1949
Professeur éminent de psychologie
Première loi d’apprentissage
 Historique

 Widrow
1960
adaline, adaptive linear element
 Minsky & Papert 1969
Démontrent les limitations du modèle du Perceptron.
Impossibilité de classer des configurations non
linéairement séparables
Mise en sommeil des recherches sur les
RNA.
Chercheurs actifs :
Grossberg ; Fukishawa
Kohonen ; Amari ; Anderson

 Hopfield 1982
Mémoires auto-associatives
Renaissance de l’intérêt
 Historique

 McClelland, Rumelhart, …
1985
Perceptron multicouche.
Apprentissage par rétro-propagation du gradient.

 Kohonen
1970
Carte auto-organisation.
Apprentissage non supervisé.

Aujourd’hui, les réseaux de neurones artificiels

sont largement reconnus et utilisés dans la
recherche et dans l’industrie.
29
 Historique

 McClelland, Rumelhart, …
1985
Perceptron multicouche.
Apprentissage par rétro-propagation du gradient.
 LeCun et al.
1990
Premières applications des CNN (LeNet-5) pour la
reconnaissance de chiffres manuscrits.
Début de l’ère des réseaux profonds, freinée par
manque de puissance de calcul.

Vapnik
1995
30
Succès des SVM (machines à vecteurs de support)
 Historique

 Alex Krizhevsky, Hinton, Sutskever

2012
AlexNet, avancée majeure en vision par ordinateur
(ImageNet)
Réseaux convolutifs profonds (CNN) deviennent la
norme.
 Seq2Seq, LSTM, Attention
2014–2017
Succès en traitement automatique du langage naturel
(traduction, reconnaissance vocale).
2017 : Transformers (Vaswani et al.) → révolution du
NLP.
31
 2018–Aujourd’hui