0% ont trouvé ce document utile (0 vote)
20 vues199 pages

Introduction à l'IA Générative

Le document présente une introduction à l'intelligence artificielle générative, qui englobe des modèles capables de créer de nouvelles données, contrairement aux modèles discriminatifs qui se concentrent sur la classification et la prédiction. Il aborde différentes familles de modèles génératifs, notamment les auto-encodeurs variationnels (VAE), les réseaux adversariaux génératifs (GANs), et les modèles de diffusion, en soulignant leur importance croissante en raison de l'explosion des données et des avancées en puissance de calcul. L'objectif fondamental de l'IA générative est d'apprendre à générer des données en approximant une distribution inconnue des données réelles.

Transféré par

wissalsanhaji2023
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
0% ont trouvé ce document utile (0 vote)
20 vues199 pages

Introduction à l'IA Générative

Le document présente une introduction à l'intelligence artificielle générative, qui englobe des modèles capables de créer de nouvelles données, contrairement aux modèles discriminatifs qui se concentrent sur la classification et la prédiction. Il aborde différentes familles de modèles génératifs, notamment les auto-encodeurs variationnels (VAE), les réseaux adversariaux génératifs (GANs), et les modèles de diffusion, en soulignant leur importance croissante en raison de l'explosion des données et des avancées en puissance de calcul. L'objectif fondamental de l'IA générative est d'apprendre à générer des données en approximant une distribution inconnue des données réelles.

Transféré par

wissalsanhaji2023
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Intelligence Artificielle: IA Générative

Abdelfattah TOULAOUI

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 1 / 105


1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 2 / 105


Introduction à l’Intelligence Artificielle Générative

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 3 / 105


Introduction à l’Intelligence Artificielle Générative

Qu’est-ce que l’IA générative ?

L’IA générative regroupe les modèles capables de créer de


nouvelles données.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 4 / 105


Introduction à l’Intelligence Artificielle Générative

Qu’est-ce que l’IA générative ?

L’IA générative regroupe les modèles capables de créer de


nouvelles données.
Contrairement aux modèles classiques qui :
classent (chat / chien),
prédisent (prix, température),
les modèles génératifs :
produisent des images,
génèrent du texte,
créent de l’audio, des vidéos ou des molécules.

Exemples : texte cohérent, image réaliste, musique artificielle.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 4 / 105


Introduction à l’Intelligence Artificielle Générative

IA discriminative vs IA générative

IA discriminative
Apprend une frontière de
décision.
Prédit une sortie y à partir
de x.
Exemples :
classification,
régression.
x →y

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 5 / 105


Introduction à l’Intelligence Artificielle Générative

IA discriminative vs IA générative

IA discriminative IA générative
Apprend une frontière de Apprend la structure des
décision. données.
Prédit une sortie y à partir Génère de nouveaux
de x. exemples.
Exemples : Exemples :
classification, images réalistes,
régression. texte naturel.
x →y z →x

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 5 / 105


Introduction à l’Intelligence Artificielle Générative

Objectif fondamental de l’IA générative

On suppose que les données réelles suivent une distribution


inconnue :
x ∼ pdata (x)

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 6 / 105


Introduction à l’Intelligence Artificielle Générative

Objectif fondamental de l’IA générative

On suppose que les données réelles suivent une distribution


inconnue :
x ∼ pdata (x)

L’objectif est d’apprendre un modèle :

pθ (x) ≈ pdata (x)

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 6 / 105


Introduction à l’Intelligence Artificielle Générative

Objectif fondamental de l’IA générative

On suppose que les données réelles suivent une distribution


inconnue :
x ∼ pdata (x)

L’objectif est d’apprendre un modèle :

pθ (x) ≈ pdata (x)

Une fois appris, le modèle peut :


générer de nouvelles données,
compléter des données manquantes,
simuler des scénarios plausibles.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 6 / 105


Introduction à l’Intelligence Artificielle Générative

Pourquoi l’IA générative est-elle si importante ?

Explosion des données disponibles (texte, images, audio).


Puissance de calcul accrue (GPU, TPUs).
Modèles profonds plus stables et plus expressifs.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 7 / 105


Introduction à l’Intelligence Artificielle Générative

Pourquoi l’IA générative est-elle si importante ?

Explosion des données disponibles (texte, images, audio).


Puissance de calcul accrue (GPU, TPUs).
Modèles profonds plus stables et plus expressifs.
Applications majeures :
assistants intelligents,
création de contenu,
découverte scientifique,
environnement et climat.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 7 / 105


Introduction à l’Intelligence Artificielle Générative

Panorama des modèles génératifs

Plusieurs grandes familles de modèles :


Auto-encodeurs (AE, VAE),
GANs (réseaux adversariaux),
Modèles de diffusion,
Transformers génératifs.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 8 / 105


Introduction à l’Intelligence Artificielle Générative

Panorama des modèles génératifs

Plusieurs grandes familles de modèles :


Auto-encodeurs (AE, VAE),
GANs (réseaux adversariaux),
Modèles de diffusion,
Transformers génératifs.
Chaque famille repose sur une idée différente :
reconstruction,
compétition,
débruitage,
attention.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 8 / 105


Auto-encodeurs Variationnels (VAE)

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)


Introduction
Principe
Fonction de coût
Reparameterization Trick

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 9 / 105


Auto-encodeurs Variationnels (VAE) Introduction

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)


Introduction
Principe
Fonction de coût
Reparameterization Trick

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 10 / 105


Auto-encodeurs Variationnels (VAE) Introduction

Pourquoi les auto-encodeurs ?

Objectif : apprendre une représentation compacte des données.


Compresser l’information tout en conservant l’essentiel.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 11 / 105


Auto-encodeurs Variationnels (VAE) Introduction

Pourquoi les auto-encodeurs ?

Objectif : apprendre une représentation compacte des données.


Compresser l’information tout en conservant l’essentiel.
Applications :
réduction de dimension,
débruitage,
détection d’anomalies,
génération de données.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 11 / 105


Auto-encodeurs Variationnels (VAE) Principe

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)


Introduction
Principe
Fonction de coût
Reparameterization Trick

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 12 / 105


Auto-encodeurs Variationnels (VAE) Principe

Auto-encodeur classique

Deux parties :
Encodeur : x → z
Décodeur : z → x̂

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 13 / 105


Auto-encodeurs Variationnels (VAE) Principe

Auto-encodeur classique

Deux parties :
Encodeur : x → z
Décodeur : z → x̂
Apprentissage par minimisation de l’erreur de reconstruction :

Lrec = ∥x − x̂∥2

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 13 / 105


Auto-encodeurs Variationnels (VAE) Principe

Auto-encodeur classique

Deux parties :
Encodeur : x → z
Décodeur : z → x̂
Apprentissage par minimisation de l’erreur de reconstruction :

Lrec = ∥x − x̂∥2

Problème :
l’espace latent n’est pas structuré,
difficile de générer de nouveaux exemples.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 13 / 105


Auto-encodeurs Variationnels (VAE) Principe

Limite des auto-encodeurs classiques

Chaque point x est encodé vers un point précis z.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 14 / 105


Auto-encodeurs Variationnels (VAE) Principe

Limite des auto-encodeurs classiques

Chaque point x est encodé vers un point précis z.


L’espace latent peut être :
discontinu,
avec des “trous”,
non exploitable pour l’échantillonnage.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 14 / 105


Auto-encodeurs Variationnels (VAE) Principe

Limite des auto-encodeurs classiques

Chaque point x est encodé vers un point précis z.


L’espace latent peut être :
discontinu,
avec des “trous”,
non exploitable pour l’échantillonnage.
Générer un nouveau z aléatoire produit souvent un résultat
incohérent.

Motivation : structurer l’espace latent de manière probabiliste.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 14 / 105


Auto-encodeurs Variationnels (VAE) Principe

Idée fondamentale des VAE

Au lieu d’encoder un point :

x →z

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 15 / 105


Auto-encodeurs Variationnels (VAE) Principe

Idée fondamentale des VAE

Au lieu d’encoder un point :

x →z

On encode une distribution :

x → qϕ (z | x)

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 15 / 105


Auto-encodeurs Variationnels (VAE) Principe

Idée fondamentale des VAE

Au lieu d’encoder un point :

x →z

On encode une distribution :

x → qϕ (z | x)

Le décodeur apprend :
pθ (x | z)
Le modèle devient probabiliste et génératif.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 15 / 105


Auto-encodeurs Variationnels (VAE) Principe

Architecture d’un VAE

Encodeur :
x → (µ(x), σ(x))

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 16 / 105


Auto-encodeurs Variationnels (VAE) Principe

Architecture d’un VAE

Encodeur :
x → (µ(x), σ(x))

On suppose :
q(z | x) = N (µ(x), σ(x)2 )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 16 / 105


Auto-encodeurs Variationnels (VAE) Principe

Architecture d’un VAE

Encodeur :
x → (µ(x), σ(x))

On suppose :
q(z | x) = N (µ(x), σ(x)2 )

Décodeur :
z → x̂

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 16 / 105


Auto-encodeurs Variationnels (VAE) Principe

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 17 / 105


Auto-encodeurs Variationnels (VAE) Principe

Distribution latente

On impose un a priori simple :

p(z) = N (0, I )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 18 / 105


Auto-encodeurs Variationnels (VAE) Principe

Distribution latente

On impose un a priori simple :

p(z) = N (0, I )

Objectif :
rapprocher q(z | x) de p(z),
structurer l’espace latent.

Intuition : rendre l’espace latent lisse et continu.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 18 / 105


Auto-encodeurs Variationnels (VAE) Fonction de coût

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)


Introduction
Principe
Fonction de coût
Reparameterization Trick

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 19 / 105


Auto-encodeurs Variationnels (VAE) Fonction de coût

Fonction de coût d’un VAE

La perte VAE comporte deux termes :

L = Eq(z|x) [log p(x|z)] − DKL (q(z|x)∥p(z))


| {z } | {z }
Reconstruction Régularisation

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 20 / 105


Auto-encodeurs Variationnels (VAE) Fonction de coût

Fonction de coût d’un VAE

La perte VAE comporte deux termes :

L = Eq(z|x) [log p(x|z)] − DKL (q(z|x)∥p(z))


| {z } | {z }
Reconstruction Régularisation

Reconstruction :
qualité de la génération.
KL divergence :
force la distribution latente à suivre N (0, I ).

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 20 / 105


Auto-encodeurs Variationnels (VAE) Fonction de coût

Interprétation de la divergence KL

La divergence de Kullback–Leibler mesure :

distance entre deux distributions

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 21 / 105


Auto-encodeurs Variationnels (VAE) Fonction de coût

Interprétation de la divergence KL

La divergence de Kullback–Leibler mesure :

distance entre deux distributions

Ici :
DKL (q(z|x)∥p(z))
Elle pénalise :
les distributions trop éloignées,
les espaces latents non réguliers.

Effet : continuité + interpolabilité.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 21 / 105


Auto-encodeurs Variationnels (VAE) Fonction de coût

Problème de l’échantillonnage

Problème :
z ∼ N (µ, σ 2 )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 22 / 105


Auto-encodeurs Variationnels (VAE) Fonction de coût

Problème de l’échantillonnage

Problème :
z ∼ N (µ, σ 2 )

L’échantillonnage est non dérivable.


Impossible de rétropropager directement.

Solution : reparameterization trick.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 22 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)


Introduction
Principe
Fonction de coût
Reparameterization Trick

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 23 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Reparameterization Trick

On écrit :
z =µ+σ⊙ϵ
avec :
ϵ ∼ N (0, I )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 24 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Reparameterization Trick

On écrit :
z =µ+σ⊙ϵ
avec :
ϵ ∼ N (0, I )

Le hasard est isolé dans ϵ.


µ et σ deviennent différentiables.

Résultat : entraı̂nement par backpropagation possible.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 24 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Génération de nouvelles données

Après entraı̂nement :

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 25 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Génération de nouvelles données

Après entraı̂nement :
On échantillonne :
z ∼ N (0, I )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 25 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Génération de nouvelles données

Après entraı̂nement :
On échantillonne :
z ∼ N (0, I )

Puis :
xgénéré = pθ (x|z)
Le modèle crée de nouveaux exemples plausibles.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 25 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Interpolation latente

On prend deux points latents :

z1 , z2

On interpole :
zα = (1 − α)z1 + αz2

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 26 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Interpolation latente

On prend deux points latents :

z1 , z2

On interpole :
zα = (1 − α)z1 + αz2

Le décodeur produit une transition fluide.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 26 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 27 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Applications des VAE

Génération d’images.
Détection d’anomalies.
Imputation de données manquantes.
Génération moléculaire.
Compression probabiliste.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 28 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Limites des VAE

Images souvent plus floues que GANs.


Compromis reconstruction / régularisation.
Choix délicat du poids KL.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 29 / 105


Auto-encodeurs Variationnels (VAE) Reparameterization Trick

Résumé : Auto-encodeurs Variationnels

Modèle génératif probabiliste.


Apprend une distribution latente continue.
Entraı̂nement stable.
Génération contrôlée et interpolable.
Base de nombreux modèles modernes.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 30 / 105


Réseaux Adversariaux Génératifs (GANs)

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)


Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 31 / 105


Réseaux Adversariaux Génératifs (GANs) Introduction

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)


Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 32 / 105


Réseaux Adversariaux Génératifs (GANs) Introduction

Pourquoi les GANs ?


Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105


Réseaux Adversariaux Génératifs (GANs) Introduction

Pourquoi les GANs ?


Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.
Objectif des GANs :
générer des données visuellement très réalistes,
apprendre sans fonction de reconstruction explicite.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105


Réseaux Adversariaux Génératifs (GANs) Introduction

Pourquoi les GANs ?


Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.
Objectif des GANs :
générer des données visuellement très réalistes,
apprendre sans fonction de reconstruction explicite.
Idée clé : apprendre par compétition.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105


Réseaux Adversariaux Génératifs (GANs) Introduction

Pourquoi les GANs ?


Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.
Objectif des GANs :
générer des données visuellement très réalistes,
apprendre sans fonction de reconstruction explicite.
Idée clé : apprendre par compétition.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)


Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 34 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Principe fondamental des GANs

Un GAN repose sur deux réseaux :


Générateur G ,
Discriminateur D.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 35 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Principe fondamental des GANs

Un GAN repose sur deux réseaux :


Générateur G ,
Discriminateur D.
Le générateur :
z ∼ p(z) → xfake = G (z)

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 35 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Principe fondamental des GANs

Un GAN repose sur deux réseaux :


Générateur G ,
Discriminateur D.
Le générateur :
z ∼ p(z) → xfake = G (z)

Le discriminateur :

D(x) ∈ [0, 1] (probabilité que x soit réel)

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 35 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 36 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Un jeu adversarial

Le générateur essaie de :
tromper le discriminateur.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 37 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Un jeu adversarial

Le générateur essaie de :
tromper le discriminateur.
Le discriminateur essaie de :
distinguer données réelles et fausses.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 37 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Un jeu adversarial

Le générateur essaie de :
tromper le discriminateur.
Le discriminateur essaie de :
distinguer données réelles et fausses.
C’est un jeu à somme nulle :
si l’un progresse, l’autre doit s’adapter.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 37 / 105


Réseaux Adversariaux Génératifs (GANs) Principe

Analogie : faussaire vs policier.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 38 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)


Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 39 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Fonction objectif d’un GAN

Fonction de coût min-max :

min max V (D, G )


G D

V (D, G ) = Ex∼pdata [log D(x)] + Ez∼p(z) [log(1 − D(G (z)))]

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 40 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Fonction objectif d’un GAN

Fonction de coût min-max :

min max V (D, G )


G D

V (D, G ) = Ex∼pdata [log D(x)] + Ez∼p(z) [log(1 − D(G (z)))]

D maximise la capacité de discrimination.


G minimise la capacité de détection.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 40 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Interprétation intuitive

Le discriminateur :
veut D(xreal ) ≈ 1,
veut D(xfake ) ≈ 0.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 41 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Interprétation intuitive

Le discriminateur :
veut D(xreal ) ≈ 1,
veut D(xfake ) ≈ 0.
Le générateur :
veut D(G (z)) ≈ 1.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 41 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Interprétation intuitive

Le discriminateur :
veut D(xreal ) ≈ 1,
veut D(xfake ) ≈ 0.
Le générateur :
veut D(G (z)) ≈ 1.
À l’équilibre :
D(x) = 0.5
Impossible de distinguer vrai et faux.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 41 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Entraı̂nement d’un GAN

Étape 1 : entraı̂ner le discriminateur


sur données réelles,
sur données générées.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 42 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Entraı̂nement d’un GAN

Étape 1 : entraı̂ner le discriminateur


sur données réelles,
sur données générées.
Étape 2 : entraı̂ner le générateur
via le gradient provenant de D.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 42 / 105


Réseaux Adversariaux Génératifs (GANs) Fonction Objectif

Entraı̂nement d’un GAN

Étape 1 : entraı̂ner le discriminateur


sur données réelles,
sur données générées.
Étape 2 : entraı̂ner le générateur
via le gradient provenant de D.
Alternance de mises à jour.

Important : entraı̂nement délicat et instable.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 42 / 105


Réseaux Adversariaux Génératifs (GANs) Mode Collapse

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)


Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 43 / 105


Réseaux Adversariaux Génératifs (GANs) Mode Collapse

Mode Collapse

Problème fréquent :
le générateur produit peu de variations,
il ignore une partie de la distribution.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 44 / 105


Réseaux Adversariaux Génératifs (GANs) Mode Collapse

Mode Collapse

Problème fréquent :
le générateur produit peu de variations,
il ignore une partie de la distribution.
Le discriminateur est trompé,
mais la diversité est faible.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 44 / 105


Réseaux Adversariaux Génératifs (GANs) Mode Collapse

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 45 / 105


Réseaux Adversariaux Génératifs (GANs) Mode Collapse

Améliorations des GANs

DCGAN : convolution + normalisation.


WGAN : distance de Wasserstein.
WGAN-GP : pénalité de gradient.
Conditional GANs : génération conditionnelle.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 46 / 105


Réseaux Adversariaux Génératifs (GANs) Mode Collapse

GANs conditionnels

On conditionne la génération par une information y :

G (z, y ) → x

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 47 / 105


Réseaux Adversariaux Génératifs (GANs) Mode Collapse

GANs conditionnels

On conditionne la génération par une information y :

G (z, y ) → x

Exemples :
génération par classe,
texte → image,
super-résolution.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 47 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)


Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 48 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Applications des GANs

Génération d’images réalistes.


Super-résolution.
Traduction d’images (CycleGAN).
Data augmentation.
Art et création visuelle.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 49 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Exemple marquant : [Link]

Le site [Link] génère des visages


humains photographiquement réalistes.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Exemple marquant : [Link]

Le site [Link] génère des visages


humains photographiquement réalistes.
Chaque image :
représente une personne qui n’existe pas,
est générée par un GAN (StyleGAN).

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Exemple marquant : [Link]

Le site [Link] génère des visages


humains photographiquement réalistes.
Chaque image :
représente une personne qui n’existe pas,
est générée par un GAN (StyleGAN).
Le modèle a appris :
la structure des visages humains,
sans jamais mémoriser de personnes réelles.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Exemple marquant : [Link]

Le site [Link] génère des visages


humains photographiquement réalistes.
Chaque image :
représente une personne qui n’existe pas,
est générée par un GAN (StyleGAN).
Le modèle a appris :
la structure des visages humains,
sans jamais mémoriser de personnes réelles.
Cela illustre parfaitement :
la puissance des GANs,
mais aussi les risques (deepfakes, désinformation).

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Captures de visages générés depuis le site

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 51 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Forces des GANs

Qualité visuelle exceptionnelle.


Pas de loss de reconstruction explicite.
Très expressifs.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 52 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

Limites des GANs

Entraı̂nement instable.
Sensible aux hyperparamètres.
Mode collapse.
Pas de vraisemblance explicite.

Motivation : modèles plus stables → diffusion.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 53 / 105


Réseaux Adversariaux Génératifs (GANs) Applications

GAN vs VAE

VAE GAN
Stabilité +++ +
Qualité visuelle + +++
Espace latent structuré non garanti
Probabiliste oui non explicite

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 54 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)


Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 55 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Qu’est-ce qu’un deepfake ?

Un deepfake est un contenu généré ou modifié par l’IA :


image,
vidéo,
audio,
de manière à imiter une personne réelle.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 56 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Qu’est-ce qu’un deepfake ?

Un deepfake est un contenu généré ou modifié par l’IA :


image,
vidéo,
audio,
de manière à imiter une personne réelle.
Il repose sur des modèles génératifs :
GANs,
auto-encodeurs,
modèles de diffusion.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 56 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Qu’est-ce qu’un deepfake ?

Un deepfake est un contenu généré ou modifié par l’IA :


image,
vidéo,
audio,
de manière à imiter une personne réelle.
Il repose sur des modèles génératifs :
GANs,
auto-encodeurs,
modèles de diffusion.
Le résultat peut être :
très réaliste,
difficile à distinguer du réel.

Exemples : visage truqué, voix synthétique, vidéo manipulée.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 56 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Comment sont créés les deepfakes ?

Le modèle apprend :
l’apparence d’un visage,
les expressions,
la voix ou la synchronisation labiale.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 57 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Comment sont créés les deepfakes ?

Le modèle apprend :
l’apparence d’un visage,
les expressions,
la voix ou la synchronisation labiale.
Il est ensuite capable de :
remplacer un visage dans une vidéo,
générer une voix artificielle,
faire dire n’importe quoi à une personne.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 57 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Comment sont créés les deepfakes ?

Le modèle apprend :
l’apparence d’un visage,
les expressions,
la voix ou la synchronisation labiale.
Il est ensuite capable de :
remplacer un visage dans une vidéo,
générer une voix artificielle,
faire dire n’importe quoi à une personne.
Les techniques modernes permettent :
un réalisme élevé,
une génération quasi instantanée.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 57 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 58 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Risques liés aux deepfakes

Désinformation :
fausses déclarations,
manipulation de l’opinion publique.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Risques liés aux deepfakes

Désinformation :
fausses déclarations,
manipulation de l’opinion publique.
Atteinte à la réputation :
usurpation d’identité,
harcèlement.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Risques liés aux deepfakes

Désinformation :
fausses déclarations,
manipulation de l’opinion publique.
Atteinte à la réputation :
usurpation d’identité,
harcèlement.
Fraude :
faux appels vocaux,
arnaques financières.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Risques liés aux deepfakes

Désinformation :
fausses déclarations,
manipulation de l’opinion publique.
Atteinte à la réputation :
usurpation d’identité,
harcèlement.
Fraude :
faux appels vocaux,
arnaques financières.
Perte de confiance dans les médias numériques.

Question clé : Peut-on encore faire confiance à ce que l’on voit ?

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Détection et usage responsable

Des modèles d’IA sont développés pour :


détecter les deepfakes,
analyser incohérences visuelles ou audio.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 60 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Détection et usage responsable

Des modèles d’IA sont développés pour :


détecter les deepfakes,
analyser incohérences visuelles ou audio.
Autres approches :
filigranes numériques,
traçabilité des contenus,
réglementation.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 60 / 105


Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques

Détection et usage responsable

Des modèles d’IA sont développés pour :


détecter les deepfakes,
analyser incohérences visuelles ou audio.
Autres approches :
filigranes numériques,
traçabilité des contenus,
réglementation.
Rôle essentiel de l’utilisateur :
esprit critique,
vérification des sources.

Message clé : l’IA générative est puissante, mais doit être utilisée de
façon responsable.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 60 / 105


Modèles de Diffusion

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 61 / 105


Modèles de Diffusion Principe

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 62 / 105


Modèles de Diffusion Principe

Pourquoi les modèles de diffusion ?

Les GANs génèrent des images très réalistes mais :


entraı̂nement instable,
mode collapse,
difficile à contrôler.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 63 / 105


Modèles de Diffusion Principe

Pourquoi les modèles de diffusion ?

Les GANs génèrent des images très réalistes mais :


entraı̂nement instable,
mode collapse,
difficile à contrôler.
Les VAE sont stables mais :
images souvent floues.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 63 / 105


Modèles de Diffusion Principe

Pourquoi les modèles de diffusion ?

Les GANs génèrent des images très réalistes mais :


entraı̂nement instable,
mode collapse,
difficile à contrôler.
Les VAE sont stables mais :
images souvent floues.
Objectif des modèles de diffusion :
génération de haute qualité,
entraı̂nement stable,
contrôle progressif de la génération.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 63 / 105


Modèles de Diffusion Principe

Idée fondamentale des modèles de diffusion

La génération est formulée comme un processus en deux phases :


Diffusion directe (ajout de bruit),
Diffusion inverse (suppression du bruit).

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 64 / 105


Modèles de Diffusion Principe

Idée fondamentale des modèles de diffusion

La génération est formulée comme un processus en deux phases :


Diffusion directe (ajout de bruit),
Diffusion inverse (suppression du bruit).
Idée clé :
transformer progressivement une donnée en bruit pur,
apprendre à inverser ce processus.

Intuition : apprendre à débruiter pas à pas.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 64 / 105


Modèles de Diffusion Principe

Processus de diffusion directe

On ajoute progressivement du bruit gaussien :

x0 → x1 → x2 → · · · → xT

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 65 / 105


Modèles de Diffusion Principe

Processus de diffusion directe

On ajoute progressivement du bruit gaussien :

x0 → x1 → x2 → · · · → xT

À chaque étape :
p p
xt = 1 − βt xt−1 + βt ϵ
où :
ϵ ∼ N (0, I ),
βt contrôle la quantité de bruit.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 65 / 105


Modèles de Diffusion Principe

Diffusion complète

Après suffisamment d’étapes :

xT ≈ N (0, I )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 66 / 105


Modèles de Diffusion Principe

Diffusion complète

Après suffisamment d’étapes :

xT ≈ N (0, I )

on connaı̂t exactement la distribution finale,


indépendante des données initiales.

Point clé : on sait toujours d’où partir pour générer.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 66 / 105


Modèles de Diffusion Principe

Processus inverse (débruitage)

Objectif :
p(xt−1 | xt )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 67 / 105


Modèles de Diffusion Principe

Processus inverse (débruitage)

Objectif :
p(xt−1 | xt )

Autrement dit :
à partir d’un signal bruité,
retrouver une version légèrement moins bruitée.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 67 / 105


Modèles de Diffusion Principe

Processus inverse (débruitage)

Objectif :
p(xt−1 | xt )

Autrement dit :
à partir d’un signal bruité,
retrouver une version légèrement moins bruitée.
Ce processus est appris par un réseau neuronal.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 67 / 105


Modèles de Diffusion Principe

Apprentissage par prédiction du bruit

Plutôt que prédire directement xt−1 ,


le réseau apprend à prédire le bruit ϵ :

ϵθ (xt , t)

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 68 / 105


Modèles de Diffusion Principe

Apprentissage par prédiction du bruit

Plutôt que prédire directement xt−1 ,


le réseau apprend à prédire le bruit ϵ :

ϵθ (xt , t)

Fonction de perte simple :

L = Ex0 ,t,ϵ ∥ϵ − ϵθ (xt , t)∥2


 

Avantage : apprentissage stable et efficace.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 68 / 105


Modèles de Diffusion Principe

Génération avec un modèle de diffusion

Étape 1 :
xT ∼ N (0, I )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 69 / 105


Modèles de Diffusion Principe

Génération avec un modèle de diffusion

Étape 1 :
xT ∼ N (0, I )

Étape 2 :
xT → xT −1 → · · · → x0

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 69 / 105


Modèles de Diffusion Principe

Génération avec un modèle de diffusion

Étape 1 :
xT ∼ N (0, I )

Étape 2 :
xT → xT −1 → · · · → x0

À chaque étape :
on retire un peu de bruit,
on ajoute de la structure.

Résultat : image finale très réaliste.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 69 / 105


Modèles de Diffusion Principe

Rôle du temps t

Le réseau reçoit :
l’image bruitée xt ,
l’indice temporel t.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 70 / 105


Modèles de Diffusion Principe

Rôle du temps t

Le réseau reçoit :
l’image bruitée xt ,
l’indice temporel t.
Cela lui permet de :
savoir combien de bruit retirer,
adapter son comportement selon l’étape.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 70 / 105


Modèles de Diffusion Principe

Architecture typique : U-Net

Les modèles de diffusion utilisent souvent :


CNN de type U-Net.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 71 / 105


Modèles de Diffusion Principe

Architecture typique : U-Net

Les modèles de diffusion utilisent souvent :


CNN de type U-Net.
Pourquoi ?
capture du contexte global,
préservation des détails locaux,
connexions entre échelles.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 71 / 105


Modèles de Diffusion Principe

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 72 / 105


Modèles de Diffusion Diffusion conditionnelle

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 73 / 105


Modèles de Diffusion Diffusion conditionnelle

Diffusion conditionnelle

La génération peut être conditionnée :

p(x | c)

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 74 / 105


Modèles de Diffusion Diffusion conditionnelle

Diffusion conditionnelle

La génération peut être conditionnée :

p(x | c)

Exemples :
texte → image,
image → image,
segmentation → image.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 74 / 105


Modèles de Diffusion Diffusion conditionnelle

Diffusion conditionnelle

La génération peut être conditionnée :

p(x | c)

Exemples :
texte → image,
image → image,
segmentation → image.
Condition injectée via :
embeddings,
attention croisée.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 74 / 105


Modèles de Diffusion Diffusion conditionnelle

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 75 / 105


Modèles de Diffusion Diffusion conditionnelle

Pourquoi les modèles de diffusion dominent

Qualité visuelle exceptionnelle.


Apprentissage très stable.
Pas de mode collapse.
Contrôle fin de la génération.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 76 / 105


Modèles de Diffusion Diffusion conditionnelle

Limites des modèles de diffusion

Génération lente (beaucoup d’itérations).


Coût de calcul élevé.
Modèles volumineux.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 77 / 105


Modèles de Diffusion Diffusion Latente

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 78 / 105


Modèles de Diffusion Diffusion Latente

Latent Diffusion

Diffusion appliquée dans un espace latent :

x → z → diffusion

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 79 / 105


Modèles de Diffusion Diffusion Latente

Latent Diffusion

Diffusion appliquée dans un espace latent :

x → z → diffusion

Avantages :
génération plus rapide,
coût mémoire réduit.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 79 / 105


Modèles de Diffusion Diffusion Latente

Latent Diffusion

Diffusion appliquée dans un espace latent :

x → z → diffusion

Avantages :
génération plus rapide,
coût mémoire réduit.
Exemple : Stable Diffusion.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 79 / 105


Modèles de Diffusion Diffusion Latente

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 80 / 105


Modèles de Diffusion Diffusion Latente

Pourquoi réduire l’espace de diffusion ?

Les modèles de diffusion classiques opèrent directement sur :

x ∈ RH×W ×C

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 81 / 105


Modèles de Diffusion Diffusion Latente

Pourquoi réduire l’espace de diffusion ?

Les modèles de diffusion classiques opèrent directement sur :

x ∈ RH×W ×C

Problèmes :
coût de calcul très élevé,
mémoire importante,
génération lente (beaucoup d’itérations).

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 81 / 105


Modèles de Diffusion Diffusion Latente

Pourquoi réduire l’espace de diffusion ?

Les modèles de diffusion classiques opèrent directement sur :

x ∈ RH×W ×C

Problèmes :
coût de calcul très élevé,
mémoire importante,
génération lente (beaucoup d’itérations).
Idée clé :
effectuer la diffusion dans un espace plus compact,
sans perdre l’information sémantique.

Question : comment compresser les données efficacement ?

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 81 / 105


Modèles de Diffusion Diffusion Latente

Le VAE comme compresseur d’information

Le VAE apprend une représentation latente :


Encodeur
x −−−−−→ z ∈ Rd , d ≪ HWC

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 82 / 105


Modèles de Diffusion Diffusion Latente

Le VAE comme compresseur d’information

Le VAE apprend une représentation latente :


Encodeur
x −−−−−→ z ∈ Rd , d ≪ HWC

Le décodeur permet de reconstruire :


Décodeur
z −−−−−→ x̂

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 82 / 105


Modèles de Diffusion Diffusion Latente

Le VAE comme compresseur d’information

Le VAE apprend une représentation latente :


Encodeur
x −−−−−→ z ∈ Rd , d ≪ HWC

Le décodeur permet de reconstruire :


Décodeur
z −−−−−→ x̂

Le VAE :
conserve l’information essentielle,
supprime les détails redondants,
structure l’espace latent (continu, régulier).

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 82 / 105


Modèles de Diffusion Diffusion Latente

Diffusion dans l’espace latent


Étape 1 : encoder l’image réelle avec un VAE
x →z

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105


Modèles de Diffusion Diffusion Latente

Diffusion dans l’espace latent


Étape 1 : encoder l’image réelle avec un VAE
x →z

Étape 2 : appliquer la diffusion sur le latent


z → zT ∼ N (0, I )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105


Modèles de Diffusion Diffusion Latente

Diffusion dans l’espace latent


Étape 1 : encoder l’image réelle avec un VAE
x →z

Étape 2 : appliquer la diffusion sur le latent


z → zT ∼ N (0, I )

Étape 3 : apprendre le débruitage dans l’espace latent


zT → zT −1 → · · · → z0

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105


Modèles de Diffusion Diffusion Latente

Diffusion dans l’espace latent


Étape 1 : encoder l’image réelle avec un VAE
x →z

Étape 2 : appliquer la diffusion sur le latent


z → zT ∼ N (0, I )

Étape 3 : apprendre le débruitage dans l’espace latent


zT → zT −1 → · · · → z0

Étape 4 : décoder vers l’image finale


z0 → xgénéré
Résultat : diffusion plus rapide et moins coûteuse.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105
Modèles de Diffusion Diffusion Latente

Comparaison des modèles génératifs

VAE GAN Diffusion


Stabilité +++ + +++
Qualité visuelle + +++ +++
Diversité ++ + +++
Temps de génération rapide rapide lent

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 84 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage


Principe
Hallucinations des Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 85 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage


Principe
Hallucinations des Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 86 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Modèles génératifs auto-régressifs

Un modèle auto-régressif génère une donnée pas à pas.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 87 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Modèles génératifs auto-régressifs

Un modèle auto-régressif génère une donnée pas à pas.


Chaque élément est prédit à partir des précédents :
T
Y
p(x1 , x2 , . . . , xT ) = p(xt | x1 , . . . , xt−1 )
t=1

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 87 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Modèles génératifs auto-régressifs

Un modèle auto-régressif génère une donnée pas à pas.


Chaque élément est prédit à partir des précédents :
T
Y
p(x1 , x2 , . . . , xT ) = p(xt | x1 , . . . , xt−1 )
t=1

Très utilisé pour :


le texte,
l’audio,
les séquences symboliques.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 87 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Intuition : génération de texte

Exemple :
“L’intelligence artificielle est une discipline qui . . . ”

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 88 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Intuition : génération de texte

Exemple :
“L’intelligence artificielle est une discipline qui . . . ”
Le modèle prédit :
le mot suivant,
puis le suivant,
jusqu’à la fin du texte.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 88 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Intuition : génération de texte

Exemple :
“L’intelligence artificielle est une discipline qui . . . ”
Le modèle prédit :
le mot suivant,
puis le suivant,
jusqu’à la fin du texte.
Chaque prédiction dépend du contexte accumulé.

Idée clé : générer = prédire le prochain token.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 88 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 89 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Tokens et vocabulaire

Le texte est découpé en tokens :


mots,
sous-mots,
caractères.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 90 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Tokens et vocabulaire

Le texte est découpé en tokens :


mots,
sous-mots,
caractères.
Chaque token est représenté par un entier :

xt ∈ {1, . . . , V }

où V est la taille du vocabulaire.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 90 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Tokens et vocabulaire

Le texte est découpé en tokens :


mots,
sous-mots,
caractères.
Chaque token est représenté par un entier :

xt ∈ {1, . . . , V }

où V est la taille du vocabulaire.


Les LLMs travaillent sur des séquences de tokens.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 90 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Architecture des Large Language Models

Les LLMs sont basés sur :


des Transformers auto-régressifs,
avec auto-attention causale.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 91 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Architecture des Large Language Models

Les LLMs sont basés sur :


des Transformers auto-régressifs,
avec auto-attention causale.
Structure :

Tokens → Embeddings → Transformers → Softmax

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 91 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Architecture des Large Language Models

Les LLMs sont basés sur :


des Transformers auto-régressifs,
avec auto-attention causale.
Structure :

Tokens → Embeddings → Transformers → Softmax

Sortie :
une distribution de probabilité sur le token suivant.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 91 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 92 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Paramètres pratiques de génération

Température :
faible → texte plus déterministe,
élevée → plus créatif.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 93 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Paramètres pratiques de génération

Température :
faible → texte plus déterministe,
élevée → plus créatif.
Top-k / Top-p (nucleus sampling) :
limite les choix possibles,
améliore la cohérence.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 93 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Paramètres pratiques de génération

Température :
faible → texte plus déterministe,
élevée → plus créatif.
Top-k / Top-p (nucleus sampling) :
limite les choix possibles,
améliore la cohérence.
Longueur maximale :
contrôle la taille de la réponse.

Important : ces paramètres changent fortement le comportement du


modèle.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 93 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Prompting : interaction avec un LLM

Le prompt est l’entrée textuelle du modèle.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 94 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Prompting : interaction avec un LLM

Le prompt est l’entrée textuelle du modèle.


Bonnes pratiques :
être clair et précis,
fournir du contexte,
donner des exemples (few-shot).

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 94 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Prompting : interaction avec un LLM

Le prompt est l’entrée textuelle du modèle.


Bonnes pratiques :
être clair et précis,
fournir du contexte,
donner des exemples (few-shot).
Le LLM complète le texte de manière cohérente.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 94 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Capacités pratiques des LLMs

Génération de texte naturel.


Résumé et reformulation.
Traduction automatique.
Aide à la programmation.
Question–réponse.

Point clé : un même modèle, de multiples usages.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 95 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Limites pratiques des LLMs

Hallucinations (réponses plausibles mais fausses).


Dépendance aux données d’entraı̂nement.
Absence de compréhension réelle.
Coût computationnel élevé.

Attention : un LLM n’est pas une base de vérité.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 96 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Place des LLMs dans l’IA générative

Modèles auto-régressifs = cœur des agents modernes.


Couplés à :
outils externes,
bases de données,
modèles de vision et diffusion.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 97 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe

Place des LLMs dans l’IA générative

Modèles auto-régressifs = cœur des agents modernes.


Couplés à :
outils externes,
bases de données,
modèles de vision et diffusion.
Vers des systèmes :
multimodaux,
interactifs,
autonomes.

Conclusion : les LLMs sont une brique centrale de l’IA moderne.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 97 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

1 Introduction à l’Intelligence Artificielle Générative

2 Auto-encodeurs Variationnels (VAE)

3 Réseaux Adversariaux Génératifs (GANs)

4 Modèles de Diffusion

5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage


Principe
Hallucinations des Grands Modèles de Langage

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 98 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Qu’est-ce qu’une hallucination ?

Une hallucination correspond à une réponse :


grammaticalement correcte,
cohérente en apparence,
mais factuellement fausse ou inventée.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 99 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Qu’est-ce qu’une hallucination ?

Une hallucination correspond à une réponse :


grammaticalement correcte,
cohérente en apparence,
mais factuellement fausse ou inventée.
Exemple :
citation scientifique inexistante,
fait historique erroné,
explication technique plausible mais incorrecte.

Point clé : le modèle ne ”sait” pas, il génère.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 99 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Pourquoi les LLMs hallucinent-ils ?

Les LLMs optimisent :


p(xt | x<t )

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 100 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Pourquoi les LLMs hallucinent-ils ?

Les LLMs optimisent :


p(xt | x<t )

Ils cherchent le token le plus probable, pas le plus vrai.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 100 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Pourquoi les LLMs hallucinent-ils ?

Les LLMs optimisent :


p(xt | x<t )

Ils cherchent le token le plus probable, pas le plus vrai.


Causes principales :
absence d’accès direct à une base de connaissances,
données d’entraı̂nement incomplètes ou biaisées,
pression à répondre même en cas d’incertitude.

Idée clé : probabilité ̸= vérité.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 100 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Hallucination vs erreur classique

Une erreur classique :


réponse courte,
souvent incomplète.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 101 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Hallucination vs erreur classique

Une erreur classique :


réponse courte,
souvent incomplète.
Une hallucination :
réponse longue,
très convaincante,
difficile à détecter sans expertise.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 101 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Hallucination vs erreur classique

Une erreur classique :


réponse courte,
souvent incomplète.
Une hallucination :
réponse longue,
très convaincante,
difficile à détecter sans expertise.
Danger particulier dans :
médecine,
droit,
sciences,
ingénierie.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 101 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Facteurs aggravants

Prompts vagues ou ambigus.


Questions très spécifiques ou rares.
Domaines peu représentés dans les données.
Température élevée.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 102 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Facteurs aggravants

Prompts vagues ou ambigus.


Questions très spécifiques ou rares.
Domaines peu représentés dans les données.
Température élevée.
Le modèle préfère :
répondre quelque chose,
plutôt que dire ”je ne sais pas”.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 102 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

RAG : une solution clé

RAG = LLM + moteur de recherche / base de documents.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 103 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

RAG : une solution clé

RAG = LLM + moteur de recherche / base de documents.


Le modèle :
récupère des informations pertinentes,
génère une réponse basée sur ces sources.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 103 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

RAG : une solution clé

RAG = LLM + moteur de recherche / base de documents.


Le modèle :
récupère des informations pertinentes,
génère une réponse basée sur ces sources.
Avantages :
réduction massive des hallucinations,
réponses traçables,
mise à jour sans ré-entraı̂nement.

Idée clé : le LLM raisonne, la base sait.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 103 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Message clé

Un LLM :
n’est pas une base de vérité,
n’a pas de compréhension réelle,
génère du texte plausible.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 104 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

Message clé

Un LLM :
n’est pas une base de vérité,
n’a pas de compréhension réelle,
génère du texte plausible.
L’utilisateur doit :
vérifier,
recouper,
garder un esprit critique.

Conclusion : les LLMs sont des outils puissants, pas des oracles.

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 104 / 105


Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage

FIN

Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 105 / 105

Vous aimerez peut-être aussi