27/01/2021

Generative Models (GAN) Generative Models (GAN)

Modèle génératif ? Modèle génératif ?

Un modèle génératif pourrait générer de nouvelles photos d'animaux qui ressemblent à de vrais animaux, tandis qu'un
Deep Learning Que signifie «génératif» dans le nom de «réseau d'adversaire génératif»? « Génératif » décrit une classe de
modèles statistiques qui contraste avec les modèles discriminants .
modèle discriminant pourrait distinguer un chien d'un chat. Les GAN ne sont qu'un type de modèle génératif.

Plus formellement, étant donné un ensemble d'instances de données X et un ensemble d'étiquettes Y :

Informellement :
Generative Models à Les modèles génératifs capturent la probabilité conjointe p (X, Y) ou simplement p (X) s'il n'y a pas d'étiquettes.
à Les modèles discriminants capturent la probabilité conditionnelle p (Y | X).
• Les modèles génératifs peuvent générer de nouvelles instances de données.
• Les modèles discriminatoires font la distinction entre différents types d'instances de données.
à Un modèle génératif inclut la distribution des données elles-mêmes et vous indique la probabilité d'un exemple donné. Par
GAN exemple, les modèles qui prédisent le mot suivant dans une séquence sont généralement des modèles génératifs
(généralement beaucoup plus simples que les GAN) car ils peuvent attribuer une probabilité à une séquence de mots.

à Un modèle discriminant ignore la question de savoir si une instance donnée est probable et vous indique simplement la
Cours IDTW/F3i probabilité qu'une étiquette s'applique à l'instance.

GAN 3 GAN
2 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

1 2 3

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Modèle génératif ? Modèle génératif ? Modèle génératif ?

un classificateur basé sur un modèle génératif est un classificateur génératif , tandis qu'un classificateur basé sur un modèle
discriminatif est un classificateur discriminant , bien que ce terme se réfère également aux classificateurs qui ne sont pas
basés sur un modèle.
Des exemples standard de chacun, qui sont tous des classificateurs linéaires , sont:

• classificateurs génératifs:
classificateur naïf de Bayes et
analyse discriminante linéaire
• modèle discriminant:
régression logistique

4 GAN GAN 6 GAN

Cours IDTW /F3i- A. Moussaoui 5 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

4 5 6

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Modèle génératif ? Modèle génératif ? Modèle génératif ?

Le GAN est basé sur une idée intelligente où deux réseaux différents sont opposés, dans le but d'amener un
réseau à créer de nouveaux échantillons différents des données d'apprentissage, mais toujours suffisamment
proches pour que l'autre réseau ne puisse pas différencier ceux qui sont synthétiques. et qui appartiennent à
l'ensemble d'entraînement d'origine.

Nous allons maintenant plonger plus précisément dans la structure du GAN. Comme nous l'avons vu, le travail du
générateur est de créer de fausses images (au moins dans le cas de l'analyse d'images) qui ressemblent à
l'ensemble d'apprentissage. Le discriminateur regarde cette fausse image et essaie d'identifier si elle est réelle ou
non. La fonction de perte du générateur et du discriminateur dépend fortement de la façon dont le discriminateur
effectue son travail.

7 Ensemble Learning
GAN GAN 9 GAN
Cours IDTW /F3i- A. Moussaoui 8 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

7 8 9

1
 27/01/2021

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Modèle génératif ? Modèle génératif ? Modèle génératif ?

Schématiquement, nous pouvons représenter le générateur et le discriminateur sous forme de

modèles de boîte noire, qui sont des abstractions d'une certaine forme de fonction. Cette fonction
peut (comme toujours dans l'apprentissage automatique) être approximée à l'aide de nos
approximateurs de fonction fourre-tout, les réseaux de neurones.

L’entrée du générateur est noize z, et l'échantillon généré sera la sortie de notre fonction
générateur, G (z) . Cette image générée est ensuite ajoutée arbitrairement à nos données d'entrée au
discriminateur, qui effectue ensuite une classification binaire (c'est-à-dire fausse ou non fausse) et se
voit attribuer un score basé sur le fait que l'image était, en fait, fausse ou no

Après une formation suffisante, le générateur deviendra

meilleur et les images commenceront à paraître plus
photoréalistes.

10 GAN GAN 12 GAN

Cours IDTW /F3i- A. Moussaoui 11 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

10 11 12

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Modèle génératif ? Générateur Vs Discriminateur Générateur Vs Discriminateur

Les fonctions de perte pour le Le discriminateur est très simple. Il prend un échantillon comme entrée, et sa sortie est une valeur unique qui Le générateur prend en entrée un tas de nombres aléatoires. Si nous construisons notre générateur pour être
générateur et le discriminateur indique la confiance du réseau que l'entrée provient de l'ensemble d'apprentissage, plutôt que d'être un faux. Il déterministe, alors la même entrée produira toujours la même sortie. En ce sens, nous pouvons considérer les valeurs
semblent un peu intimidantes au début, n'y a pas beaucoup de restrictions sur ce qu'est le discriminateur. d'entrée comme des variables latentes. Mais ici, les variables latentes n'ont pas été découvertes en analysant l'entrée,
mais elles sont en fait très simples. G comme elles l'étaient pour la VAE. Le bruit aléatoire n'est pas «aléatoire» mais représente (un email dans notre
(z) est la sortie de notre générateur, exemple) dans l'espace «latent».
c'est-à-dire la fausse image, D (G
(z)) est la prédiction du discriminateur
sur nos fausses données et m est le
nombre d'échantillons. Nous utilisons le
logarithme car il est plus stable
numériquement en tant que fonction de
perte et nous prenons le gradient de la
fonction de perte par rapport aux Si cela vous semble du charabia en ce moment, ne craignez rien,
paramètres afin de pouvoir appliquer une grande partie de ce tutoriel expliquera la mise à jour et le
une descente de gradient stochastique. raffinement du générateur et du discriminateur.

13 GAN GAN 15 GAN

Cours IDTW /F3i- A. Moussaoui 14 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

13 14 15

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur Générateur Vs Discriminateur
Le processus - connu sous le nom de cycle d'apprentissage - accomplit trois tâches: Formation réseau La méthode de formation comprend les éléments suivants:
[1] Le discriminateur apprend à identifier les caractéristiques qui caractérisent un échantillon réel. à Échantillonnez un mini-lot d'images de formation x et de codes de générateur z.
Au niveau de nos réseaux, il y a deux réseaux que nous devons former. Cela devient intéressant car les deux réseaux ont la
[2] Le discriminateur apprend à identifier les caractéristiques qui révèlent un faux échantillon. même fonction de valeur globale, mais des fonctions de perte légèrement différentes. Le discriminateur essaie de à Mise à jour de G et D à l' aide de la rétropropagation (facultatif: exécutez k étapes d'un joueur pour chaque étape de
[3] Le générateur apprend à éviter d'inclure les caractéristiques que le discriminateur a appris à repérer. l'autre joueur - le rapport typique est D : G de 4: 1)
maximiser la fonction de valeur globale, tandis que le générateur cherche à minimiser la fonction de valeur du
discriminateur.

16 GAN GAN 18 GAN

Cours IDTW /F3i- A. Moussaoui 17 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

16 17 18

2
 27/01/2021

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur Générateur Vs Discriminateur
Faux négatif (I: Real / D: Fake): Dans ce cas, nous transmettons des réels au discriminateur. Le générateur n'est pas du tout Vrai négatif (I: Faux / D: Faux): Nous commençons par des nombres aléatoires entrant dans le générateur. La sortie du Faux positifs (I: Fake / D: Real): Ici, nous générons un faux et punissons le discriminateur s'il le classe comme réel.
impliqué dans cette étape. La fonction d'erreur ici n'implique que le discriminateur et si elle fait une erreur, l'erreur générateur est fausse. La fonction d'erreur obtient une valeur élevée si ce faux est correctement identifié comme faux, ce
entraîne une étape de rétropropagation à travers le discriminateur, mettant à jour ses poids afin qu'il puisse mieux qui signifie que le générateur a été attrapé. La rétropropagation passe par le discriminateur (qui est gelé) au générateur. Le
reconnaître les réels. générateur est ensuite mis à jour, afin qu'il puisse mieux apprendre à tromper le discriminateur.

19 GAN GAN 21 GAN

Cours IDTW /F3i- A. Moussaoui 20 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

19 20 21

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur Générateur Vs Discriminateur
Pour illustrer la formation sous une forme moins abstraite, nous allons passer par un autre exemple qui est légèrement plus Le discriminateur voit alors l'entrée des distributions générées et vraies. Si le discriminateur décide que les données Le générateur s'est maintenant amélioré et les données ressemblent davantage à la vraie distribution.
complexe que l'exemple de filtrage anti-spam. proviennent du générateur, cela génère une valeur de fonction de perte qui se propage vers le générateur et est utilisée
Nous avons notre (fausse) distribution générée qui est produite par notre modèle génératif, et nous avons une distribution pour mettre à jour les poids. Surtout, un seul des deux réseaux est formé en même temps.
vraie connue. Il existe une divergence KL associée entre les deux car ce ne sont pas des distributions identiques, ce qui
signifie que notre fonction de perte est non nulle.

22 GAN GAN 24 GAN

Cours IDTW /F3i- A. Moussaoui 23 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

22 23 24

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur Générateur Vs Discriminateur
Cependant, les données ne sont toujours pas assez bonnes pour tromper le discriminateur, et les poids du générateur sont La distribution générée a de nouveau été mise à jour, et maintenant le discriminateur a été trompé, il pense que les La fonction de perte est utilisée pour mettre à jour les poids du discriminateur par rétropropagation.
donc à nouveau mis à jour. données générées proviennent de la vraie distribution. Il est temps de mettre à jour le discriminateur!

25 GAN GAN 27 GAN

Cours IDTW /F3i- A. Moussaoui 26 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

25 26 27

3
 27/01/2021

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur Générateur Vs Discriminateur
Ce processus se poursuit (théoriquement) jusqu'à ce que la distribution générée soit indiscernable de la distribution réelle Une fois que notre réseau est construit et formé, nous pouvons utiliser le générateur pour produire des images qui ne Ue application très intéressante avec les GAN est l'ajout ou la suppression de différents attributs, illustrés ci-dessous où les
et que les réseaux atteignent l'équilibre de Nash. peuvent pas être distinguées des images d'entraînement, comme l'exemple suivant d'un DC-GAN utilisé sur l'ensemble de sourires sont «ajoutés» aux images sans changer les autres attributs. Cela peut également être fait dans le montage vidéo
données MNIST standard. et, à l'avenir, il sera même possible de post-éditer des vidéos pour supprimer ou ajouter différents acteurs de la même
manière. Des choses similaires sont déjà en cours dans le monde de DeepFakes (bien que de nombreuses applications
puissent être considérées comme malveillantes par nature).

28 GAN GAN 30 GAN

Cours IDTW /F3i- A. Moussaoui 29 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

28 29 30

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur Générateur Vs Discriminateur
Cela peut également être fait avec d'autres caractéristiques, telles que les lunettes de soleil. L’idée ci-dessus est essentiellement de savoir comment les images de transition chevaux-zèbres ont été obtenues au début Aussi, pour vous donner une idée du nombre de «saveurs» sur GAN, il y en a beaucoup. Le GAN que nous produisons à la
de cet article. fin du didacticiel sera un DCGAN, bien que je décrirai le Wasserstein GAN (WGAN) plus en détail dans la partie 2. Je vais
Pour vous donner une idée de l'amélioration de ce domaine au cours des dernières années, regardez l'évolution des GAN également décrire comment les GAN peuvent être utilisés pour générer des séries chronologiques, pas seulement images.
de 2014 à 2017 à partir des images ci-dessous.

31 GAN GAN 33 GAN

Cours IDTW /F3i- A. Moussaoui 32 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

31 32 33

Generative Models (GAN) Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur Générateur Vs Discriminateur
Défis du GAN Défis du GAN Défis du GAN
Il y a beaucoup de problèmes avec les GAN, mais je vais aborder les principaux dans cette section et les discuter [3] Grands échantillons - Essayer de former un générateur de GAN pour produire de grandes images, telles que 1 000 x 1 [4] Calcul - La puissance de calcul, la mémoire et le temps de traitement de grands nombres sont déjà très élevés. Faire
plus en détail dans la partie 2. 000 pixels, peut être problématique. Le problème est qu'avec de grandes images, il est facile pour le discriminateur de fonctionner les réseaux jusqu'à ce que des images réalistes soient produites peut nécessiter de nombreuses heures ou
distinguer les contrefaçons générées des images réelles. De nombreux pixels peuvent conduire à des gradients d'erreur jours de formation, même avec des GPU hautes performances (c'est pourquoi nos images finales sont inférieures à celles
[1] Sensibilité - Le plus grand défi de l'utilisation des GAN dans la pratique est leur sensibilité à la fois à la qui font bouger la sortie du générateur dans des directions presque aléatoires, plutôt que de se rapprocher de la de certains articles). Ceci est encore exacerbé pour les réseaux plus compliqués, les ensembles de formation plus grands
structure et aux paramètres. Si le discriminateur ou le générateur s'améliore trop rapidement, l'autre ne pourra correspondance des entrées. La meilleure procédure pour entraîner les GAN sur de grandes images est : et les images plus grandes.
jamais rattraper son retard . Trouver la bonne combinaison peut être très difficile. Suivre les règles empiriques
dont nous avons discuté ci-dessus est généralement recommandé lorsque nous construisons un nouveau GAN ou • Commencez par redimensionner les images: 512x512, 128x128, 64x64,…, 4x4. [5] Effondrement modal - C'est probablement le problème le plus frustrant que nous rencontrons dans les GAN (mis à
DC-GAN. • Ensuite, construisez un petit générateur et un discriminateur, chacun avec seulement quelques couches de part les 10 heures de formation). Disons que je voudrais utiliser GAN pour produire des visages comme ceux ci-dessous à
convolution. partir de NVIDIA (ci-dessous).
[2] Convergence - Il n'y a aucune preuve qu'un GAN convergera. Les GAN semblent très bien fonctionner la • Entraînez-vous avec les images 4 par 4 jusqu'à ce que ça marche bien.
plupart du temps lorsque nous trouvons les bons paramètres, mais il n'y a aucune garantie au-delà de cela. Plus • Ajoutez quelques couches de convolution supplémentaires au réseau final et entraînez-les maintenant avec des
le réseau est compliqué, plus la convergence devient capricieuse et plus la sélection des hyperparamètres devient images 8 sur 8.
difficile. • Encore une fois, lorsque les résultats sont bons, ajoutez quelques couches de convolution supplémentaires à la fin de
chaque réseau et entraînez-les sur 16 par 16 images

34 GAN GAN 36 GAN

Cours IDTW /F3i- A. Moussaoui 35 Cours IDTW /F3i- A. Moussaoui
Cours IDTW /F3i- A. Moussaoui

34 35 36

4
 27/01/2021

Generative Models (GAN) Generative Models (GAN)

Générateur Vs Discriminateur Générateur Vs Discriminateur
Défis du GAN Défis du GAN

Cependant, lors de la formation de

notre réseau, le générateur trouve en
Fin cours —
quelque sorte une image qui trompe le
discriminateur. Generatve Models

GAN
Cours IDTW/F3i

37 GAN GAN
Cours IDTW /F3i- A. Moussaoui 38
Cours IDTW /F3i- A. Moussaoui

37 38 39

Questions

40 GAN
Cours IDTW /F3i- A. Moussaoui

40