Deep Learning et Réseaux de Neurones
Convolutifs (CNN)
1. L’avènement du Deep Learning (L’Apprentissage
Profond)
Pendant longtemps, ajouter plus de deux couches cachées à un réseau de
neurones (MLP) était voué à l’échec. Les réseaux “profonds” (Deep) ne
parvenaient pas à apprendre à cause d’un phénomène mathématique
destructeur : la disparition du gradient (Vanishing Gradient). Lors de la
rétropropagation (la chaîne de dérivées calculée en partant de la fin), le
signal d’erreur se diluait tellement qu’il arrivait aux premières couches du
réseau sous la forme d’un zéro absolu. Les premiers neurones n’apprenaient
rien.
Autour de 2012, trois facteurs ont déclenché le Big Bang du Deep Learning :
1. La puissance des Cartes Graphiques (GPU) : Conçues par Nvidia pour
calculer les polygones des jeux vidéo, ces puces se sont révélées être les
machines parfaites pour faire exploser la vitesse des calculs matriciels
exigés par le Deep Learning. 2. Le Big Data : Des bases de données
colossales étiquetées par l’homme (ImageNet, avec 14 millions de photos
d’animaux, d’objets, étiquetées). 3. L’astuce d’Activation (ReLU) : Le
remplacement de la vieille fonction d’activation “Sigmoïde” par une fonction
d’une bêtise enfantine, la ReLU (Rectified Linear Unit), qui renvoie
simplement la valeur brute de l’entrée si elle est positive, et 0 si elle est
négative. La ReLU a instantanément réglé le problème mathématique de la
disparition du gradient, permettant d’empiler des dizaines, puis des
centaines de couches de neurones.
1.1 L’extraction automatique des features
Le triomphe du Deep Learning réside dans la fin du “Feature Engineering”.
Avant 2012, pour qu’un algorithme classique (SVM) reconnaisse une voiture
sur une image, un humain devait d’abord coder un programme pour extraire
mathématiquement les contours (les roues rondes, les vitres), puis donner
ces contours mâchés à l’IA. C’était chronophage et peu robuste.
Un réseau profond fait “d’un bout à l’autre” (End-to-End). On lui jette les
millions de pixels bruts. - Les premières couches du réseau apprennent
toutes seules à repérer les lignes droites et les contrastes. - Les couches du
milieu assemblent les lignes pour reconnaître des formes (des cercles, des
fenêtres). - Les couches finales profondes assemblent les roues et les vitres
pour comprendre le concept abstrait de “Voiture”. Le réseau a appris lui-
même sa propre façon de lire l’image.
2. Le problème des Images et la Convolution
Appliquer un réseau Dense classique (Perceptron) sur une image haute
résolution est un suicide informatique. Une image de 1000 ×1000 pixels
couleur (RVB) contient 3 millions de valeurs d’entrée. Si la première couche
cachée possède seulement 1000 neurones, le nombre de connexions
synaptiques (3 M × 1000) serait de 3 milliards de Poids à calculer pour une
seule couche. La mémoire graphique s’effondre. De plus, le Perceptron ne
comprend pas l’espace 2D : si le chat est en haut à gauche de la photo
d’entraînement, le réseau sera incapable de le reconnaître s’il est en bas à
droite sur la photo de test.
La solution a été théorisée par Yann LeCun en 1989, inspiré par les
recherches de Hubel et Wiesel sur le cortex visuel du chat : Les Réseaux de
Neurones Convolutifs (CNN - Convolutional Neural Networks).
2.1 Le Filtre de Convolution (Kernel)
Au lieu de regarder toute l’image d’un coup, le CNN utilise une “loupe”
mathématique carrée, très petite (souvent 3 ×3 pixels), appelée un Filtre (ou
Kernel). 1. Ce filtre de 9 pixels se pose en haut à gauche de l’image. Il fait
une multiplication matricielle avec les 9 pixels de l’image qui sont dessous,
et renvoie un seul chiffre. 2. Puis, le filtre “glisse” (Stride) d’un pixel sur la
droite, et recommence le calcul. Il balaie ainsi (scanne) l’intégralité de
l’image, de gauche à droite, puis de haut en bas, pour fabriquer une nouvelle
image rétrécie appelée “Carte d’Activation” (Feature Map).
Le miracle est là : Les poids (w ) du filtre de 9 pixels sont partagés !
Que le filtre scanne le ciel ou l’herbe, ce sont les 9 mêmes paramètres
mathématiques (Poids partagés). Le nombre de paramètres à apprendre
passe de 3 milliards à… seulement 9. C’est l’Invariance par Translation : si le
filtre a appris à reconnaître une oreille de chat à gauche, il saura la
reconnaître exactement de la même manière à droite.
Un CNN moderne superpose des centaines de ces petits filtres, chaque filtre
apprenant à traquer une caractéristique différente (l’un traque le contour
vertical, l’autre traque la couleur rouge, le troisième le motif en losange).
2.2 Le Pooling (L’Abstraction)
Pour réduire drastiquement la taille de l’image et éviter l’overfitting, les
couches de convolution sont suivies par des couches de Max Pooling (Sous-
échantillonnage). Le Pooling pose une fenêtre de 2 ×2 pixels sur la Carte
d’Activation générée par la convolution, et ne garde que le chiffre le plus
grand des 4, puis jette les 3 autres. Il réduit instantanément la taille de
l’image par 4. Cela permet au réseau de ne conserver que la “substantifique
moelle” de l’information (Est-ce qu’il y a un oeil ou non dans cette zone ?) en
détruisant les détails inutiles de position exacte au millimètre près.
L’architecture classique d’un CNN (comme ResNet ou VGG16, utilisés dans
les voitures autonomes ou la détection de mélanomes sur la peau) est une
alternance de convolutions qui épaississent le nombre de canaux (recherche
de détails toujours plus fins) et de pooling qui réduisent la résolution
spatiale. À la fin, l’image est aplatie (Flatten) en un long vecteur à une
dimension, et injectée dans un vieux réseau Dense classique (Fully
Connected) qui fera le tri final pour dire : “C’est un Chien à 95%”.