Résumé Visuel : Les Réseaux de Neurones (Chapitre 5)

Data Mining & Intelligence Artificielle

Synthèse de Cours & Exercices Corrigés

Objectif du document

Ce document synthétise le fonctionnement des réseaux de neurones. La dernière section

présente les exercices du cours avec l’énoncé d’abord, suivi de la correction détaillée.

Table des matières

1 Le Neurone Artificiel : Architecture 1

2 Visualisation des Fonctions d’Activation 2

3 Perceptron Simple vs Multicouche 2

3.1 Perceptron Simple : Séparation Linéaire . . . . . . . . . . . . . . . . . . . . . . . . . 2
3.2 Multicouche (MLP) : Séparation Non-Linéaire (XOR) . . . . . . . . . . . . . . . . . . . 3

4 Apprentissage : La Descente de Gradient 3

5 Exercices et Corrections 4
5.1 Exercice 1 : Portes Logiques (AND, OR) . . . . . . . . . . . . . . . . . . . . . . . . . . 4
5.2 Exercice 2 : Perceptron classique (Parité) . . . . . . . . . . . . . . . . . . . . . . . . . 4
5.3 Exercice 3 : Perceptron Optimisé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
5.4 Exercice 4 : Perceptron Multicouches . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1 Le Neurone Artificiel : Architecture

Le cœur du système est le neurone. Mathématiquement, c’est une fonction en deux étapes.

x1 w1 Biais b
w1
x2 w
w22
P Z Sortie
f Y
.. wn
.

xn wn

1
 Formule Mathématique
X
Z= (xi · wi ) + b −→ Y = f (Z)

2 Visualisation des Fonctions d’Activation

Le choix de la fonction f change tout. Voici les 3 fonctions principales tracées pour comparer.

1.5
Sigmoïde (Logistique) f (Z) (Sortie)
Heaviside (Perceptron 1957)
ReLU (Deep Learning) 1

0.5

Z (Somme pondérée)
−4 −3 −2 −1 1 2 3 4

−0.5

Figure 1: Comparaison : La Sigmoïde est ”douce” (dérivable) alors que Heaviside est ”brutale”
(0 ou 1).

- Heaviside : Utilisé dans les premiers perceptrons. Pas de nuance (c’est oui ou non).

- Sigmoïde : Utilisée pour les probabilités (0.7 → 70%). Problème : elle ”écrase” les grandes
valeurs vers 1.

- ReLU : La plus utilisée aujourd’hui. Elle ne sature pas pour les nombres positifs (accélère
l’apprentissage).

3 Perceptron Simple vs Multicouche

3.1 Perceptron Simple : Séparation Linéaire
Il ne peut tracer qu’une droite (ou un plan).

2
 Problème ET (AND) - Séparable
1.5
1
1

x2
0.5
0
0

−0.5
−0.5 0 0.5 1 1.5
x1

3.2 Multicouche (MLP) : Séparation Non-Linéaire (XOR)

Le XOR (Ou Exclusif) nécessite deux droites ou une courbe. Un perceptron simple échoue ici.

Problème XOR - Non Séparable

1.5

1
x2

0.5

−0.5
−0.5 0 0.5 1 1.5
x1

4 Apprentissage : La Descente de Gradient

Comment le réseau apprend-il ? Il cherche à descendre au fond du ”bol” de l’erreur.

Formule de mise à jour des poids

∂E
wnouveau = wancien − η ×
∂w
Où ∂E
∂w est la pente (le gradient). Si la pente est forte, on fait un grand pas. Si elle est nulle
(fond du bol), on s’arrête.

3
5 Exercices et Corrections
5.1 Exercice 1 : Portes Logiques (AND, OR)

Énoncé de l’exercice
Objectif : Trouver manuellement des poids pour simuler les portes logiques. Déterminer
les poids w1 , w2 et le biais b (ou seuil θ) pour un perceptron simple permettant de réaliser
:

1. La fonction logique ET (AND) (x1 = 1 et x2 = 1 ⇒ y = 1).

2. La fonction logique OU (OR) (x1 = 1 ou x2 = 1 ⇒ y = 1).

Correction Détaillée
On utilise l’équation d’activation : w1 x1 + w2 x2 + b ≥ 0.
1. Porte AND (ET) On veut que la sortie soit 1 uniquement si x1 = 1 ET x2 = 1.

- Si on fixe w1 = 1 et w2 = 1, la somme maximale est 2.

- Il faut un biais b tel que :

- 1 + 1 + b > 0 (pour x = (1, 1))

- 1 + 0 + b < 0 (pour x = (1, 0) ou (0, 1))

- Solution : b = −1.5 (équivalent à un seuil de 1.5).

- Vérif : 1(1) + 1(1) − 1.5 = 0.5 > 0 → OK.

2. Porte OR (OU) On veut que la sortie soit 1 si au moins une entrée est à 1.

- On garde w1 = 1 et w2 = 1.

- Il faut que la somme 1 (une seule entrée active) suffise à activer le neurone.

- Solution : b = −0.5 (équivalent à un seuil de 0.5).

- Vérif : 1(0) + 1(1) − 0.5 = 0.5 > 0 → OK.

5.2 Exercice 2 : Perceptron classique (Parité)

Énoncé de l’exercice
Apprentissage de parité : Considérons un afficheur numérique à sept segments et for-
mons un perceptron donnant la parité du chiffre écrit, à savoir :

- 0 si le chiffre est pair.

- 1 si le chiffre est impair.

Proposer une démarche pour résoudre ce problème avec un perceptron.

4
 Correction Détaillée
Analyse du problème : Les entrées sont les 7 segments (x1 à x7 ), qui valent 1 s’ils sont
allumés, 0 sinon.

- Exemple : Le ”1” allume 2 segments. Le ”8” allume 7 segments.

- Cibles : {0, 2, 4, 6, 8} → Classe 0 (Pair). {1, 3, 5, 7, 9} → Classe 1 (Impair).

Résolution : Ce problème est difficilement séparable linéairement de manière évidente

(géométriquement), mais on peut entraîner un perceptron.

1. Initialisation : Poids nuls ou aléatoires.

2. Cycle d’apprentissage : On présente le vecteur du chiffre ”0”. Si le réseau répond

”Impair” (Erreur), on modifie les poids :

W = W + η(Yattendu − Ypredit )X

Si Yattendu = 0 et Ypredit = 1, on soustrait le vecteur X aux poids.

3. On répète pour tous les chiffres jusqu’à ce que le taux d’erreur soit nul ou minimal.

5.3 Exercice 3 : Perceptron Optimisé

Énoncé de l’exercice
Apprentissage du perceptron : AND On considère le problème ET logique. Données d’en-
traînement : ((0, 0), 0), ((0, 1), 0), ((1, 0), 0), ((1, 1), 1). Travail demandé : Tracer l’algorithme
d’apprentissage (mises à jour des poids) pour les premières itérations. Hypothèse d’initia-
lisation (standard) : w1 = 0.3, w2 = −0.1, b = 0.2, η = 0.1.

Correction Détaillée
Itération 1 (Exemple sur x = (1, 1), attendu y = 1)

- Calcul Somme : S = 0.3(1) − 0.1(1) + 0.2 = 0.4.

- Activation (Step) : S > 0 ⇒ ŷ = 1.

- Erreur : e = 1 − 1 = 0. Pas de modification.

Itération 2 (Exemple sur x = (1, 0), attendu y = 0)

- Calcul Somme : S = 0.3(1) − 0.1(0) + 0.2 = 0.5.

- Activation : S > 0 ⇒ ŷ = 1.

- Erreur : e = 0 − 1 = −1 (Faux positif).

- Mise à jour des poids :

w1 = 0.3 + 0.1(−1)(1) = 0.2
w2 = −0.1 + 0.1(−1)(0) = −0.1
b = 0.2 + 0.1(−1) = 0.1

5
5.4 Exercice 4 : Perceptron Multicouches

Énoncé de l’exercice
Soit le réseau de neurones multicouches décrit par le graphe standard (1 entrée, 1 couche
cachée à 2 neurones, 1 sortie). Soit la donnée (x, y) = (2, 1). Les poids sont initialisés à 0.5
partout pour l’exemple. Travail demandé : Calculer les sorties intermédiaires et l’erreur
quadratique.

Correction Détaillée
1. Passe Avant (Forward Propagation)

- Couche cachée (Neurones h1 , h2 ) : Entrée pondérée : z = w · x = 0.5 × 2 = 1. Sortie

(Sigmoïde) : h = σ(1) = 1+e1−1 ≈ 0.731.

- Couche de sortie : Entrée pondérée : zout = wout1 h1 + wout2 h2 = 0.5(0.731) +

0.5(0.731) ≈ 0.731. Sortie finale : ŷ = σ(0.731) ≈ 0.675.

2. Calcul de l’erreur
1 1
E = (y − ŷ)2 = (1 − 0.675)2 ≈ 0.053
2 2
Le réseau a prédit 0.675 alors qu’on attendait 1. L’étape suivante (Backpropagation) aug-
mentera les poids pour rapprocher la sortie de 1.