Intelligence Artificielle: IA Générative
Abdelfattah TOULAOUI
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 1 / 105
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 2 / 105
Introduction à l’Intelligence Artificielle Générative
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 3 / 105
Introduction à l’Intelligence Artificielle Générative
Qu’est-ce que l’IA générative ?
L’IA générative regroupe les modèles capables de créer de
nouvelles données.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 4 / 105
Introduction à l’Intelligence Artificielle Générative
Qu’est-ce que l’IA générative ?
L’IA générative regroupe les modèles capables de créer de
nouvelles données.
Contrairement aux modèles classiques qui :
classent (chat / chien),
prédisent (prix, température),
les modèles génératifs :
produisent des images,
génèrent du texte,
créent de l’audio, des vidéos ou des molécules.
Exemples : texte cohérent, image réaliste, musique artificielle.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 4 / 105
Introduction à l’Intelligence Artificielle Générative
IA discriminative vs IA générative
IA discriminative
Apprend une frontière de
décision.
Prédit une sortie y à partir
de x.
Exemples :
classification,
régression.
x →y
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 5 / 105
Introduction à l’Intelligence Artificielle Générative
IA discriminative vs IA générative
IA discriminative IA générative
Apprend une frontière de Apprend la structure des
décision. données.
Prédit une sortie y à partir Génère de nouveaux
de x. exemples.
Exemples : Exemples :
classification, images réalistes,
régression. texte naturel.
x →y z →x
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 5 / 105
Introduction à l’Intelligence Artificielle Générative
Objectif fondamental de l’IA générative
On suppose que les données réelles suivent une distribution
inconnue :
x ∼ pdata (x)
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 6 / 105
Introduction à l’Intelligence Artificielle Générative
Objectif fondamental de l’IA générative
On suppose que les données réelles suivent une distribution
inconnue :
x ∼ pdata (x)
L’objectif est d’apprendre un modèle :
pθ (x) ≈ pdata (x)
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 6 / 105
Introduction à l’Intelligence Artificielle Générative
Objectif fondamental de l’IA générative
On suppose que les données réelles suivent une distribution
inconnue :
x ∼ pdata (x)
L’objectif est d’apprendre un modèle :
pθ (x) ≈ pdata (x)
Une fois appris, le modèle peut :
générer de nouvelles données,
compléter des données manquantes,
simuler des scénarios plausibles.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 6 / 105
Introduction à l’Intelligence Artificielle Générative
Pourquoi l’IA générative est-elle si importante ?
Explosion des données disponibles (texte, images, audio).
Puissance de calcul accrue (GPU, TPUs).
Modèles profonds plus stables et plus expressifs.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 7 / 105
Introduction à l’Intelligence Artificielle Générative
Pourquoi l’IA générative est-elle si importante ?
Explosion des données disponibles (texte, images, audio).
Puissance de calcul accrue (GPU, TPUs).
Modèles profonds plus stables et plus expressifs.
Applications majeures :
assistants intelligents,
création de contenu,
découverte scientifique,
environnement et climat.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 7 / 105
Introduction à l’Intelligence Artificielle Générative
Panorama des modèles génératifs
Plusieurs grandes familles de modèles :
Auto-encodeurs (AE, VAE),
GANs (réseaux adversariaux),
Modèles de diffusion,
Transformers génératifs.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 8 / 105
Introduction à l’Intelligence Artificielle Générative
Panorama des modèles génératifs
Plusieurs grandes familles de modèles :
Auto-encodeurs (AE, VAE),
GANs (réseaux adversariaux),
Modèles de diffusion,
Transformers génératifs.
Chaque famille repose sur une idée différente :
reconstruction,
compétition,
débruitage,
attention.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 8 / 105
Auto-encodeurs Variationnels (VAE)
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
Introduction
Principe
Fonction de coût
Reparameterization Trick
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 9 / 105
Auto-encodeurs Variationnels (VAE) Introduction
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
Introduction
Principe
Fonction de coût
Reparameterization Trick
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 10 / 105
Auto-encodeurs Variationnels (VAE) Introduction
Pourquoi les auto-encodeurs ?
Objectif : apprendre une représentation compacte des données.
Compresser l’information tout en conservant l’essentiel.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 11 / 105
Auto-encodeurs Variationnels (VAE) Introduction
Pourquoi les auto-encodeurs ?
Objectif : apprendre une représentation compacte des données.
Compresser l’information tout en conservant l’essentiel.
Applications :
réduction de dimension,
débruitage,
détection d’anomalies,
génération de données.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 11 / 105
Auto-encodeurs Variationnels (VAE) Principe
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
Introduction
Principe
Fonction de coût
Reparameterization Trick
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 12 / 105
Auto-encodeurs Variationnels (VAE) Principe
Auto-encodeur classique
Deux parties :
Encodeur : x → z
Décodeur : z → x̂
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 13 / 105
Auto-encodeurs Variationnels (VAE) Principe
Auto-encodeur classique
Deux parties :
Encodeur : x → z
Décodeur : z → x̂
Apprentissage par minimisation de l’erreur de reconstruction :
Lrec = ∥x − x̂∥2
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 13 / 105
Auto-encodeurs Variationnels (VAE) Principe
Auto-encodeur classique
Deux parties :
Encodeur : x → z
Décodeur : z → x̂
Apprentissage par minimisation de l’erreur de reconstruction :
Lrec = ∥x − x̂∥2
Problème :
l’espace latent n’est pas structuré,
difficile de générer de nouveaux exemples.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 13 / 105
Auto-encodeurs Variationnels (VAE) Principe
Limite des auto-encodeurs classiques
Chaque point x est encodé vers un point précis z.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 14 / 105
Auto-encodeurs Variationnels (VAE) Principe
Limite des auto-encodeurs classiques
Chaque point x est encodé vers un point précis z.
L’espace latent peut être :
discontinu,
avec des “trous”,
non exploitable pour l’échantillonnage.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 14 / 105
Auto-encodeurs Variationnels (VAE) Principe
Limite des auto-encodeurs classiques
Chaque point x est encodé vers un point précis z.
L’espace latent peut être :
discontinu,
avec des “trous”,
non exploitable pour l’échantillonnage.
Générer un nouveau z aléatoire produit souvent un résultat
incohérent.
Motivation : structurer l’espace latent de manière probabiliste.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 14 / 105
Auto-encodeurs Variationnels (VAE) Principe
Idée fondamentale des VAE
Au lieu d’encoder un point :
x →z
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 15 / 105
Auto-encodeurs Variationnels (VAE) Principe
Idée fondamentale des VAE
Au lieu d’encoder un point :
x →z
On encode une distribution :
x → qϕ (z | x)
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 15 / 105
Auto-encodeurs Variationnels (VAE) Principe
Idée fondamentale des VAE
Au lieu d’encoder un point :
x →z
On encode une distribution :
x → qϕ (z | x)
Le décodeur apprend :
pθ (x | z)
Le modèle devient probabiliste et génératif.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 15 / 105
Auto-encodeurs Variationnels (VAE) Principe
Architecture d’un VAE
Encodeur :
x → (µ(x), σ(x))
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 16 / 105
Auto-encodeurs Variationnels (VAE) Principe
Architecture d’un VAE
Encodeur :
x → (µ(x), σ(x))
On suppose :
q(z | x) = N (µ(x), σ(x)2 )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 16 / 105
Auto-encodeurs Variationnels (VAE) Principe
Architecture d’un VAE
Encodeur :
x → (µ(x), σ(x))
On suppose :
q(z | x) = N (µ(x), σ(x)2 )
Décodeur :
z → x̂
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 16 / 105
Auto-encodeurs Variationnels (VAE) Principe
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 17 / 105
Auto-encodeurs Variationnels (VAE) Principe
Distribution latente
On impose un a priori simple :
p(z) = N (0, I )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 18 / 105
Auto-encodeurs Variationnels (VAE) Principe
Distribution latente
On impose un a priori simple :
p(z) = N (0, I )
Objectif :
rapprocher q(z | x) de p(z),
structurer l’espace latent.
Intuition : rendre l’espace latent lisse et continu.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 18 / 105
Auto-encodeurs Variationnels (VAE) Fonction de coût
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
Introduction
Principe
Fonction de coût
Reparameterization Trick
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 19 / 105
Auto-encodeurs Variationnels (VAE) Fonction de coût
Fonction de coût d’un VAE
La perte VAE comporte deux termes :
L = Eq(z|x) [log p(x|z)] − DKL (q(z|x)∥p(z))
| {z } | {z }
Reconstruction Régularisation
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 20 / 105
Auto-encodeurs Variationnels (VAE) Fonction de coût
Fonction de coût d’un VAE
La perte VAE comporte deux termes :
L = Eq(z|x) [log p(x|z)] − DKL (q(z|x)∥p(z))
| {z } | {z }
Reconstruction Régularisation
Reconstruction :
qualité de la génération.
KL divergence :
force la distribution latente à suivre N (0, I ).
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 20 / 105
Auto-encodeurs Variationnels (VAE) Fonction de coût
Interprétation de la divergence KL
La divergence de Kullback–Leibler mesure :
distance entre deux distributions
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 21 / 105
Auto-encodeurs Variationnels (VAE) Fonction de coût
Interprétation de la divergence KL
La divergence de Kullback–Leibler mesure :
distance entre deux distributions
Ici :
DKL (q(z|x)∥p(z))
Elle pénalise :
les distributions trop éloignées,
les espaces latents non réguliers.
Effet : continuité + interpolabilité.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 21 / 105
Auto-encodeurs Variationnels (VAE) Fonction de coût
Problème de l’échantillonnage
Problème :
z ∼ N (µ, σ 2 )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 22 / 105
Auto-encodeurs Variationnels (VAE) Fonction de coût
Problème de l’échantillonnage
Problème :
z ∼ N (µ, σ 2 )
L’échantillonnage est non dérivable.
Impossible de rétropropager directement.
Solution : reparameterization trick.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 22 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
Introduction
Principe
Fonction de coût
Reparameterization Trick
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 23 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Reparameterization Trick
On écrit :
z =µ+σ⊙ϵ
avec :
ϵ ∼ N (0, I )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 24 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Reparameterization Trick
On écrit :
z =µ+σ⊙ϵ
avec :
ϵ ∼ N (0, I )
Le hasard est isolé dans ϵ.
µ et σ deviennent différentiables.
Résultat : entraı̂nement par backpropagation possible.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 24 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Génération de nouvelles données
Après entraı̂nement :
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 25 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Génération de nouvelles données
Après entraı̂nement :
On échantillonne :
z ∼ N (0, I )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 25 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Génération de nouvelles données
Après entraı̂nement :
On échantillonne :
z ∼ N (0, I )
Puis :
xgénéré = pθ (x|z)
Le modèle crée de nouveaux exemples plausibles.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 25 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Interpolation latente
On prend deux points latents :
z1 , z2
On interpole :
zα = (1 − α)z1 + αz2
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 26 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Interpolation latente
On prend deux points latents :
z1 , z2
On interpole :
zα = (1 − α)z1 + αz2
Le décodeur produit une transition fluide.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 26 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 27 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Applications des VAE
Génération d’images.
Détection d’anomalies.
Imputation de données manquantes.
Génération moléculaire.
Compression probabiliste.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 28 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Limites des VAE
Images souvent plus floues que GANs.
Compromis reconstruction / régularisation.
Choix délicat du poids KL.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 29 / 105
Auto-encodeurs Variationnels (VAE) Reparameterization Trick
Résumé : Auto-encodeurs Variationnels
Modèle génératif probabiliste.
Apprend une distribution latente continue.
Entraı̂nement stable.
Génération contrôlée et interpolable.
Base de nombreux modèles modernes.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 30 / 105
Réseaux Adversariaux Génératifs (GANs)
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 31 / 105
Réseaux Adversariaux Génératifs (GANs) Introduction
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 32 / 105
Réseaux Adversariaux Génératifs (GANs) Introduction
Pourquoi les GANs ?
Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105
Réseaux Adversariaux Génératifs (GANs) Introduction
Pourquoi les GANs ?
Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.
Objectif des GANs :
générer des données visuellement très réalistes,
apprendre sans fonction de reconstruction explicite.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105
Réseaux Adversariaux Génératifs (GANs) Introduction
Pourquoi les GANs ?
Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.
Objectif des GANs :
générer des données visuellement très réalistes,
apprendre sans fonction de reconstruction explicite.
Idée clé : apprendre par compétition.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105
Réseaux Adversariaux Génératifs (GANs) Introduction
Pourquoi les GANs ?
Les VAE génèrent des données plausibles mais souvent :
floues,
trop lissées.
Objectif des GANs :
générer des données visuellement très réalistes,
apprendre sans fonction de reconstruction explicite.
Idée clé : apprendre par compétition.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 33 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 34 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Principe fondamental des GANs
Un GAN repose sur deux réseaux :
Générateur G ,
Discriminateur D.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 35 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Principe fondamental des GANs
Un GAN repose sur deux réseaux :
Générateur G ,
Discriminateur D.
Le générateur :
z ∼ p(z) → xfake = G (z)
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 35 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Principe fondamental des GANs
Un GAN repose sur deux réseaux :
Générateur G ,
Discriminateur D.
Le générateur :
z ∼ p(z) → xfake = G (z)
Le discriminateur :
D(x) ∈ [0, 1] (probabilité que x soit réel)
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 35 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 36 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Un jeu adversarial
Le générateur essaie de :
tromper le discriminateur.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 37 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Un jeu adversarial
Le générateur essaie de :
tromper le discriminateur.
Le discriminateur essaie de :
distinguer données réelles et fausses.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 37 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Un jeu adversarial
Le générateur essaie de :
tromper le discriminateur.
Le discriminateur essaie de :
distinguer données réelles et fausses.
C’est un jeu à somme nulle :
si l’un progresse, l’autre doit s’adapter.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 37 / 105
Réseaux Adversariaux Génératifs (GANs) Principe
Analogie : faussaire vs policier.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 38 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 39 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Fonction objectif d’un GAN
Fonction de coût min-max :
min max V (D, G )
G D
V (D, G ) = Ex∼pdata [log D(x)] + Ez∼p(z) [log(1 − D(G (z)))]
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 40 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Fonction objectif d’un GAN
Fonction de coût min-max :
min max V (D, G )
G D
V (D, G ) = Ex∼pdata [log D(x)] + Ez∼p(z) [log(1 − D(G (z)))]
D maximise la capacité de discrimination.
G minimise la capacité de détection.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 40 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Interprétation intuitive
Le discriminateur :
veut D(xreal ) ≈ 1,
veut D(xfake ) ≈ 0.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 41 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Interprétation intuitive
Le discriminateur :
veut D(xreal ) ≈ 1,
veut D(xfake ) ≈ 0.
Le générateur :
veut D(G (z)) ≈ 1.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 41 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Interprétation intuitive
Le discriminateur :
veut D(xreal ) ≈ 1,
veut D(xfake ) ≈ 0.
Le générateur :
veut D(G (z)) ≈ 1.
À l’équilibre :
D(x) = 0.5
Impossible de distinguer vrai et faux.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 41 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Entraı̂nement d’un GAN
Étape 1 : entraı̂ner le discriminateur
sur données réelles,
sur données générées.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 42 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Entraı̂nement d’un GAN
Étape 1 : entraı̂ner le discriminateur
sur données réelles,
sur données générées.
Étape 2 : entraı̂ner le générateur
via le gradient provenant de D.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 42 / 105
Réseaux Adversariaux Génératifs (GANs) Fonction Objectif
Entraı̂nement d’un GAN
Étape 1 : entraı̂ner le discriminateur
sur données réelles,
sur données générées.
Étape 2 : entraı̂ner le générateur
via le gradient provenant de D.
Alternance de mises à jour.
Important : entraı̂nement délicat et instable.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 42 / 105
Réseaux Adversariaux Génératifs (GANs) Mode Collapse
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 43 / 105
Réseaux Adversariaux Génératifs (GANs) Mode Collapse
Mode Collapse
Problème fréquent :
le générateur produit peu de variations,
il ignore une partie de la distribution.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 44 / 105
Réseaux Adversariaux Génératifs (GANs) Mode Collapse
Mode Collapse
Problème fréquent :
le générateur produit peu de variations,
il ignore une partie de la distribution.
Le discriminateur est trompé,
mais la diversité est faible.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 44 / 105
Réseaux Adversariaux Génératifs (GANs) Mode Collapse
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 45 / 105
Réseaux Adversariaux Génératifs (GANs) Mode Collapse
Améliorations des GANs
DCGAN : convolution + normalisation.
WGAN : distance de Wasserstein.
WGAN-GP : pénalité de gradient.
Conditional GANs : génération conditionnelle.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 46 / 105
Réseaux Adversariaux Génératifs (GANs) Mode Collapse
GANs conditionnels
On conditionne la génération par une information y :
G (z, y ) → x
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 47 / 105
Réseaux Adversariaux Génératifs (GANs) Mode Collapse
GANs conditionnels
On conditionne la génération par une information y :
G (z, y ) → x
Exemples :
génération par classe,
texte → image,
super-résolution.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 47 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 48 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Applications des GANs
Génération d’images réalistes.
Super-résolution.
Traduction d’images (CycleGAN).
Data augmentation.
Art et création visuelle.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 49 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Exemple marquant : [Link]
Le site [Link] génère des visages
humains photographiquement réalistes.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Exemple marquant : [Link]
Le site [Link] génère des visages
humains photographiquement réalistes.
Chaque image :
représente une personne qui n’existe pas,
est générée par un GAN (StyleGAN).
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Exemple marquant : [Link]
Le site [Link] génère des visages
humains photographiquement réalistes.
Chaque image :
représente une personne qui n’existe pas,
est générée par un GAN (StyleGAN).
Le modèle a appris :
la structure des visages humains,
sans jamais mémoriser de personnes réelles.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Exemple marquant : [Link]
Le site [Link] génère des visages
humains photographiquement réalistes.
Chaque image :
représente une personne qui n’existe pas,
est générée par un GAN (StyleGAN).
Le modèle a appris :
la structure des visages humains,
sans jamais mémoriser de personnes réelles.
Cela illustre parfaitement :
la puissance des GANs,
mais aussi les risques (deepfakes, désinformation).
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 50 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Captures de visages générés depuis le site
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 51 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Forces des GANs
Qualité visuelle exceptionnelle.
Pas de loss de reconstruction explicite.
Très expressifs.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 52 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
Limites des GANs
Entraı̂nement instable.
Sensible aux hyperparamètres.
Mode collapse.
Pas de vraisemblance explicite.
Motivation : modèles plus stables → diffusion.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 53 / 105
Réseaux Adversariaux Génératifs (GANs) Applications
GAN vs VAE
VAE GAN
Stabilité +++ +
Qualité visuelle + +++
Espace latent structuré non garanti
Probabiliste oui non explicite
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 54 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
Introduction
Principe
Fonction Objectif
Mode Collapse
Applications
Deepfakes : Enjeux et Risques
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 55 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Qu’est-ce qu’un deepfake ?
Un deepfake est un contenu généré ou modifié par l’IA :
image,
vidéo,
audio,
de manière à imiter une personne réelle.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 56 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Qu’est-ce qu’un deepfake ?
Un deepfake est un contenu généré ou modifié par l’IA :
image,
vidéo,
audio,
de manière à imiter une personne réelle.
Il repose sur des modèles génératifs :
GANs,
auto-encodeurs,
modèles de diffusion.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 56 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Qu’est-ce qu’un deepfake ?
Un deepfake est un contenu généré ou modifié par l’IA :
image,
vidéo,
audio,
de manière à imiter une personne réelle.
Il repose sur des modèles génératifs :
GANs,
auto-encodeurs,
modèles de diffusion.
Le résultat peut être :
très réaliste,
difficile à distinguer du réel.
Exemples : visage truqué, voix synthétique, vidéo manipulée.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 56 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Comment sont créés les deepfakes ?
Le modèle apprend :
l’apparence d’un visage,
les expressions,
la voix ou la synchronisation labiale.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 57 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Comment sont créés les deepfakes ?
Le modèle apprend :
l’apparence d’un visage,
les expressions,
la voix ou la synchronisation labiale.
Il est ensuite capable de :
remplacer un visage dans une vidéo,
générer une voix artificielle,
faire dire n’importe quoi à une personne.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 57 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Comment sont créés les deepfakes ?
Le modèle apprend :
l’apparence d’un visage,
les expressions,
la voix ou la synchronisation labiale.
Il est ensuite capable de :
remplacer un visage dans une vidéo,
générer une voix artificielle,
faire dire n’importe quoi à une personne.
Les techniques modernes permettent :
un réalisme élevé,
une génération quasi instantanée.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 57 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 58 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Risques liés aux deepfakes
Désinformation :
fausses déclarations,
manipulation de l’opinion publique.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Risques liés aux deepfakes
Désinformation :
fausses déclarations,
manipulation de l’opinion publique.
Atteinte à la réputation :
usurpation d’identité,
harcèlement.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Risques liés aux deepfakes
Désinformation :
fausses déclarations,
manipulation de l’opinion publique.
Atteinte à la réputation :
usurpation d’identité,
harcèlement.
Fraude :
faux appels vocaux,
arnaques financières.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Risques liés aux deepfakes
Désinformation :
fausses déclarations,
manipulation de l’opinion publique.
Atteinte à la réputation :
usurpation d’identité,
harcèlement.
Fraude :
faux appels vocaux,
arnaques financières.
Perte de confiance dans les médias numériques.
Question clé : Peut-on encore faire confiance à ce que l’on voit ?
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 59 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Détection et usage responsable
Des modèles d’IA sont développés pour :
détecter les deepfakes,
analyser incohérences visuelles ou audio.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 60 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Détection et usage responsable
Des modèles d’IA sont développés pour :
détecter les deepfakes,
analyser incohérences visuelles ou audio.
Autres approches :
filigranes numériques,
traçabilité des contenus,
réglementation.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 60 / 105
Réseaux Adversariaux Génératifs (GANs) Deepfakes : Enjeux et Risques
Détection et usage responsable
Des modèles d’IA sont développés pour :
détecter les deepfakes,
analyser incohérences visuelles ou audio.
Autres approches :
filigranes numériques,
traçabilité des contenus,
réglementation.
Rôle essentiel de l’utilisateur :
esprit critique,
vérification des sources.
Message clé : l’IA générative est puissante, mais doit être utilisée de
façon responsable.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 60 / 105
Modèles de Diffusion
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 61 / 105
Modèles de Diffusion Principe
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 62 / 105
Modèles de Diffusion Principe
Pourquoi les modèles de diffusion ?
Les GANs génèrent des images très réalistes mais :
entraı̂nement instable,
mode collapse,
difficile à contrôler.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 63 / 105
Modèles de Diffusion Principe
Pourquoi les modèles de diffusion ?
Les GANs génèrent des images très réalistes mais :
entraı̂nement instable,
mode collapse,
difficile à contrôler.
Les VAE sont stables mais :
images souvent floues.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 63 / 105
Modèles de Diffusion Principe
Pourquoi les modèles de diffusion ?
Les GANs génèrent des images très réalistes mais :
entraı̂nement instable,
mode collapse,
difficile à contrôler.
Les VAE sont stables mais :
images souvent floues.
Objectif des modèles de diffusion :
génération de haute qualité,
entraı̂nement stable,
contrôle progressif de la génération.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 63 / 105
Modèles de Diffusion Principe
Idée fondamentale des modèles de diffusion
La génération est formulée comme un processus en deux phases :
Diffusion directe (ajout de bruit),
Diffusion inverse (suppression du bruit).
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 64 / 105
Modèles de Diffusion Principe
Idée fondamentale des modèles de diffusion
La génération est formulée comme un processus en deux phases :
Diffusion directe (ajout de bruit),
Diffusion inverse (suppression du bruit).
Idée clé :
transformer progressivement une donnée en bruit pur,
apprendre à inverser ce processus.
Intuition : apprendre à débruiter pas à pas.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 64 / 105
Modèles de Diffusion Principe
Processus de diffusion directe
On ajoute progressivement du bruit gaussien :
x0 → x1 → x2 → · · · → xT
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 65 / 105
Modèles de Diffusion Principe
Processus de diffusion directe
On ajoute progressivement du bruit gaussien :
x0 → x1 → x2 → · · · → xT
À chaque étape :
p p
xt = 1 − βt xt−1 + βt ϵ
où :
ϵ ∼ N (0, I ),
βt contrôle la quantité de bruit.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 65 / 105
Modèles de Diffusion Principe
Diffusion complète
Après suffisamment d’étapes :
xT ≈ N (0, I )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 66 / 105
Modèles de Diffusion Principe
Diffusion complète
Après suffisamment d’étapes :
xT ≈ N (0, I )
on connaı̂t exactement la distribution finale,
indépendante des données initiales.
Point clé : on sait toujours d’où partir pour générer.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 66 / 105
Modèles de Diffusion Principe
Processus inverse (débruitage)
Objectif :
p(xt−1 | xt )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 67 / 105
Modèles de Diffusion Principe
Processus inverse (débruitage)
Objectif :
p(xt−1 | xt )
Autrement dit :
à partir d’un signal bruité,
retrouver une version légèrement moins bruitée.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 67 / 105
Modèles de Diffusion Principe
Processus inverse (débruitage)
Objectif :
p(xt−1 | xt )
Autrement dit :
à partir d’un signal bruité,
retrouver une version légèrement moins bruitée.
Ce processus est appris par un réseau neuronal.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 67 / 105
Modèles de Diffusion Principe
Apprentissage par prédiction du bruit
Plutôt que prédire directement xt−1 ,
le réseau apprend à prédire le bruit ϵ :
ϵθ (xt , t)
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 68 / 105
Modèles de Diffusion Principe
Apprentissage par prédiction du bruit
Plutôt que prédire directement xt−1 ,
le réseau apprend à prédire le bruit ϵ :
ϵθ (xt , t)
Fonction de perte simple :
L = Ex0 ,t,ϵ ∥ϵ − ϵθ (xt , t)∥2
Avantage : apprentissage stable et efficace.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 68 / 105
Modèles de Diffusion Principe
Génération avec un modèle de diffusion
Étape 1 :
xT ∼ N (0, I )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 69 / 105
Modèles de Diffusion Principe
Génération avec un modèle de diffusion
Étape 1 :
xT ∼ N (0, I )
Étape 2 :
xT → xT −1 → · · · → x0
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 69 / 105
Modèles de Diffusion Principe
Génération avec un modèle de diffusion
Étape 1 :
xT ∼ N (0, I )
Étape 2 :
xT → xT −1 → · · · → x0
À chaque étape :
on retire un peu de bruit,
on ajoute de la structure.
Résultat : image finale très réaliste.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 69 / 105
Modèles de Diffusion Principe
Rôle du temps t
Le réseau reçoit :
l’image bruitée xt ,
l’indice temporel t.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 70 / 105
Modèles de Diffusion Principe
Rôle du temps t
Le réseau reçoit :
l’image bruitée xt ,
l’indice temporel t.
Cela lui permet de :
savoir combien de bruit retirer,
adapter son comportement selon l’étape.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 70 / 105
Modèles de Diffusion Principe
Architecture typique : U-Net
Les modèles de diffusion utilisent souvent :
CNN de type U-Net.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 71 / 105
Modèles de Diffusion Principe
Architecture typique : U-Net
Les modèles de diffusion utilisent souvent :
CNN de type U-Net.
Pourquoi ?
capture du contexte global,
préservation des détails locaux,
connexions entre échelles.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 71 / 105
Modèles de Diffusion Principe
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 72 / 105
Modèles de Diffusion Diffusion conditionnelle
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 73 / 105
Modèles de Diffusion Diffusion conditionnelle
Diffusion conditionnelle
La génération peut être conditionnée :
p(x | c)
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 74 / 105
Modèles de Diffusion Diffusion conditionnelle
Diffusion conditionnelle
La génération peut être conditionnée :
p(x | c)
Exemples :
texte → image,
image → image,
segmentation → image.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 74 / 105
Modèles de Diffusion Diffusion conditionnelle
Diffusion conditionnelle
La génération peut être conditionnée :
p(x | c)
Exemples :
texte → image,
image → image,
segmentation → image.
Condition injectée via :
embeddings,
attention croisée.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 74 / 105
Modèles de Diffusion Diffusion conditionnelle
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 75 / 105
Modèles de Diffusion Diffusion conditionnelle
Pourquoi les modèles de diffusion dominent
Qualité visuelle exceptionnelle.
Apprentissage très stable.
Pas de mode collapse.
Contrôle fin de la génération.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 76 / 105
Modèles de Diffusion Diffusion conditionnelle
Limites des modèles de diffusion
Génération lente (beaucoup d’itérations).
Coût de calcul élevé.
Modèles volumineux.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 77 / 105
Modèles de Diffusion Diffusion Latente
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
Principe
Diffusion conditionnelle
Diffusion Latente
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 78 / 105
Modèles de Diffusion Diffusion Latente
Latent Diffusion
Diffusion appliquée dans un espace latent :
x → z → diffusion
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 79 / 105
Modèles de Diffusion Diffusion Latente
Latent Diffusion
Diffusion appliquée dans un espace latent :
x → z → diffusion
Avantages :
génération plus rapide,
coût mémoire réduit.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 79 / 105
Modèles de Diffusion Diffusion Latente
Latent Diffusion
Diffusion appliquée dans un espace latent :
x → z → diffusion
Avantages :
génération plus rapide,
coût mémoire réduit.
Exemple : Stable Diffusion.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 79 / 105
Modèles de Diffusion Diffusion Latente
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 80 / 105
Modèles de Diffusion Diffusion Latente
Pourquoi réduire l’espace de diffusion ?
Les modèles de diffusion classiques opèrent directement sur :
x ∈ RH×W ×C
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 81 / 105
Modèles de Diffusion Diffusion Latente
Pourquoi réduire l’espace de diffusion ?
Les modèles de diffusion classiques opèrent directement sur :
x ∈ RH×W ×C
Problèmes :
coût de calcul très élevé,
mémoire importante,
génération lente (beaucoup d’itérations).
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 81 / 105
Modèles de Diffusion Diffusion Latente
Pourquoi réduire l’espace de diffusion ?
Les modèles de diffusion classiques opèrent directement sur :
x ∈ RH×W ×C
Problèmes :
coût de calcul très élevé,
mémoire importante,
génération lente (beaucoup d’itérations).
Idée clé :
effectuer la diffusion dans un espace plus compact,
sans perdre l’information sémantique.
Question : comment compresser les données efficacement ?
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 81 / 105
Modèles de Diffusion Diffusion Latente
Le VAE comme compresseur d’information
Le VAE apprend une représentation latente :
Encodeur
x −−−−−→ z ∈ Rd , d ≪ HWC
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 82 / 105
Modèles de Diffusion Diffusion Latente
Le VAE comme compresseur d’information
Le VAE apprend une représentation latente :
Encodeur
x −−−−−→ z ∈ Rd , d ≪ HWC
Le décodeur permet de reconstruire :
Décodeur
z −−−−−→ x̂
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 82 / 105
Modèles de Diffusion Diffusion Latente
Le VAE comme compresseur d’information
Le VAE apprend une représentation latente :
Encodeur
x −−−−−→ z ∈ Rd , d ≪ HWC
Le décodeur permet de reconstruire :
Décodeur
z −−−−−→ x̂
Le VAE :
conserve l’information essentielle,
supprime les détails redondants,
structure l’espace latent (continu, régulier).
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 82 / 105
Modèles de Diffusion Diffusion Latente
Diffusion dans l’espace latent
Étape 1 : encoder l’image réelle avec un VAE
x →z
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105
Modèles de Diffusion Diffusion Latente
Diffusion dans l’espace latent
Étape 1 : encoder l’image réelle avec un VAE
x →z
Étape 2 : appliquer la diffusion sur le latent
z → zT ∼ N (0, I )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105
Modèles de Diffusion Diffusion Latente
Diffusion dans l’espace latent
Étape 1 : encoder l’image réelle avec un VAE
x →z
Étape 2 : appliquer la diffusion sur le latent
z → zT ∼ N (0, I )
Étape 3 : apprendre le débruitage dans l’espace latent
zT → zT −1 → · · · → z0
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105
Modèles de Diffusion Diffusion Latente
Diffusion dans l’espace latent
Étape 1 : encoder l’image réelle avec un VAE
x →z
Étape 2 : appliquer la diffusion sur le latent
z → zT ∼ N (0, I )
Étape 3 : apprendre le débruitage dans l’espace latent
zT → zT −1 → · · · → z0
Étape 4 : décoder vers l’image finale
z0 → xgénéré
Résultat : diffusion plus rapide et moins coûteuse.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 83 / 105
Modèles de Diffusion Diffusion Latente
Comparaison des modèles génératifs
VAE GAN Diffusion
Stabilité +++ + +++
Qualité visuelle + +++ +++
Diversité ++ + +++
Temps de génération rapide rapide lent
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 84 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Principe
Hallucinations des Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 85 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Principe
Hallucinations des Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 86 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Modèles génératifs auto-régressifs
Un modèle auto-régressif génère une donnée pas à pas.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 87 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Modèles génératifs auto-régressifs
Un modèle auto-régressif génère une donnée pas à pas.
Chaque élément est prédit à partir des précédents :
T
Y
p(x1 , x2 , . . . , xT ) = p(xt | x1 , . . . , xt−1 )
t=1
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 87 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Modèles génératifs auto-régressifs
Un modèle auto-régressif génère une donnée pas à pas.
Chaque élément est prédit à partir des précédents :
T
Y
p(x1 , x2 , . . . , xT ) = p(xt | x1 , . . . , xt−1 )
t=1
Très utilisé pour :
le texte,
l’audio,
les séquences symboliques.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 87 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Intuition : génération de texte
Exemple :
“L’intelligence artificielle est une discipline qui . . . ”
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 88 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Intuition : génération de texte
Exemple :
“L’intelligence artificielle est une discipline qui . . . ”
Le modèle prédit :
le mot suivant,
puis le suivant,
jusqu’à la fin du texte.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 88 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Intuition : génération de texte
Exemple :
“L’intelligence artificielle est une discipline qui . . . ”
Le modèle prédit :
le mot suivant,
puis le suivant,
jusqu’à la fin du texte.
Chaque prédiction dépend du contexte accumulé.
Idée clé : générer = prédire le prochain token.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 88 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 89 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Tokens et vocabulaire
Le texte est découpé en tokens :
mots,
sous-mots,
caractères.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 90 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Tokens et vocabulaire
Le texte est découpé en tokens :
mots,
sous-mots,
caractères.
Chaque token est représenté par un entier :
xt ∈ {1, . . . , V }
où V est la taille du vocabulaire.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 90 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Tokens et vocabulaire
Le texte est découpé en tokens :
mots,
sous-mots,
caractères.
Chaque token est représenté par un entier :
xt ∈ {1, . . . , V }
où V est la taille du vocabulaire.
Les LLMs travaillent sur des séquences de tokens.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 90 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Architecture des Large Language Models
Les LLMs sont basés sur :
des Transformers auto-régressifs,
avec auto-attention causale.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 91 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Architecture des Large Language Models
Les LLMs sont basés sur :
des Transformers auto-régressifs,
avec auto-attention causale.
Structure :
Tokens → Embeddings → Transformers → Softmax
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 91 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Architecture des Large Language Models
Les LLMs sont basés sur :
des Transformers auto-régressifs,
avec auto-attention causale.
Structure :
Tokens → Embeddings → Transformers → Softmax
Sortie :
une distribution de probabilité sur le token suivant.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 91 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 92 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Paramètres pratiques de génération
Température :
faible → texte plus déterministe,
élevée → plus créatif.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 93 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Paramètres pratiques de génération
Température :
faible → texte plus déterministe,
élevée → plus créatif.
Top-k / Top-p (nucleus sampling) :
limite les choix possibles,
améliore la cohérence.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 93 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Paramètres pratiques de génération
Température :
faible → texte plus déterministe,
élevée → plus créatif.
Top-k / Top-p (nucleus sampling) :
limite les choix possibles,
améliore la cohérence.
Longueur maximale :
contrôle la taille de la réponse.
Important : ces paramètres changent fortement le comportement du
modèle.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 93 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Prompting : interaction avec un LLM
Le prompt est l’entrée textuelle du modèle.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 94 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Prompting : interaction avec un LLM
Le prompt est l’entrée textuelle du modèle.
Bonnes pratiques :
être clair et précis,
fournir du contexte,
donner des exemples (few-shot).
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 94 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Prompting : interaction avec un LLM
Le prompt est l’entrée textuelle du modèle.
Bonnes pratiques :
être clair et précis,
fournir du contexte,
donner des exemples (few-shot).
Le LLM complète le texte de manière cohérente.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 94 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Capacités pratiques des LLMs
Génération de texte naturel.
Résumé et reformulation.
Traduction automatique.
Aide à la programmation.
Question–réponse.
Point clé : un même modèle, de multiples usages.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 95 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Limites pratiques des LLMs
Hallucinations (réponses plausibles mais fausses).
Dépendance aux données d’entraı̂nement.
Absence de compréhension réelle.
Coût computationnel élevé.
Attention : un LLM n’est pas une base de vérité.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 96 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Place des LLMs dans l’IA générative
Modèles auto-régressifs = cœur des agents modernes.
Couplés à :
outils externes,
bases de données,
modèles de vision et diffusion.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 97 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Principe
Place des LLMs dans l’IA générative
Modèles auto-régressifs = cœur des agents modernes.
Couplés à :
outils externes,
bases de données,
modèles de vision et diffusion.
Vers des systèmes :
multimodaux,
interactifs,
autonomes.
Conclusion : les LLMs sont une brique centrale de l’IA moderne.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 97 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
1 Introduction à l’Intelligence Artificielle Générative
2 Auto-encodeurs Variationnels (VAE)
3 Réseaux Adversariaux Génératifs (GANs)
4 Modèles de Diffusion
5 Modèles Génératifs Auto-régressifs et Grands Modèles de Langage
Principe
Hallucinations des Grands Modèles de Langage
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 98 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Qu’est-ce qu’une hallucination ?
Une hallucination correspond à une réponse :
grammaticalement correcte,
cohérente en apparence,
mais factuellement fausse ou inventée.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 99 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Qu’est-ce qu’une hallucination ?
Une hallucination correspond à une réponse :
grammaticalement correcte,
cohérente en apparence,
mais factuellement fausse ou inventée.
Exemple :
citation scientifique inexistante,
fait historique erroné,
explication technique plausible mais incorrecte.
Point clé : le modèle ne ”sait” pas, il génère.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 99 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Pourquoi les LLMs hallucinent-ils ?
Les LLMs optimisent :
p(xt | x<t )
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 100 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Pourquoi les LLMs hallucinent-ils ?
Les LLMs optimisent :
p(xt | x<t )
Ils cherchent le token le plus probable, pas le plus vrai.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 100 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Pourquoi les LLMs hallucinent-ils ?
Les LLMs optimisent :
p(xt | x<t )
Ils cherchent le token le plus probable, pas le plus vrai.
Causes principales :
absence d’accès direct à une base de connaissances,
données d’entraı̂nement incomplètes ou biaisées,
pression à répondre même en cas d’incertitude.
Idée clé : probabilité ̸= vérité.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 100 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Hallucination vs erreur classique
Une erreur classique :
réponse courte,
souvent incomplète.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 101 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Hallucination vs erreur classique
Une erreur classique :
réponse courte,
souvent incomplète.
Une hallucination :
réponse longue,
très convaincante,
difficile à détecter sans expertise.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 101 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Hallucination vs erreur classique
Une erreur classique :
réponse courte,
souvent incomplète.
Une hallucination :
réponse longue,
très convaincante,
difficile à détecter sans expertise.
Danger particulier dans :
médecine,
droit,
sciences,
ingénierie.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 101 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Facteurs aggravants
Prompts vagues ou ambigus.
Questions très spécifiques ou rares.
Domaines peu représentés dans les données.
Température élevée.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 102 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Facteurs aggravants
Prompts vagues ou ambigus.
Questions très spécifiques ou rares.
Domaines peu représentés dans les données.
Température élevée.
Le modèle préfère :
répondre quelque chose,
plutôt que dire ”je ne sais pas”.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 102 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
RAG : une solution clé
RAG = LLM + moteur de recherche / base de documents.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 103 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
RAG : une solution clé
RAG = LLM + moteur de recherche / base de documents.
Le modèle :
récupère des informations pertinentes,
génère une réponse basée sur ces sources.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 103 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
RAG : une solution clé
RAG = LLM + moteur de recherche / base de documents.
Le modèle :
récupère des informations pertinentes,
génère une réponse basée sur ces sources.
Avantages :
réduction massive des hallucinations,
réponses traçables,
mise à jour sans ré-entraı̂nement.
Idée clé : le LLM raisonne, la base sait.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 103 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Message clé
Un LLM :
n’est pas une base de vérité,
n’a pas de compréhension réelle,
génère du texte plausible.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 104 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
Message clé
Un LLM :
n’est pas une base de vérité,
n’a pas de compréhension réelle,
génère du texte plausible.
L’utilisateur doit :
vérifier,
recouper,
garder un esprit critique.
Conclusion : les LLMs sont des outils puissants, pas des oracles.
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 104 / 105
Modèles Génératifs Auto-régressifs et Grands Modèles de Langage Hallucinations des Grands Modèles de Langage
FIN
Abdelfattah TOULAOUI Intelligence Artificielle: IA Générative 105 / 105