Masterclass organisée par :

Togo Data Lab

Fondements Mathématiques des Transformers et des
LLMs

Module 1 (Suite) : Les bases mathématiques du Deep Learning pour le NLP

Présentée par : Tiebekabe Pagdame

Enseignant-chercheur - Université de Kara

Date : 14-15 juillet 2025

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 1 / 40
Bienvenue à la Masterclass

Objectifs : poser les fondations mathématiques nécessaires à la compréhension des LLMs.

Algèbre linéaire appliquée (vecteurs, matrices, tenseurs, produit scalaire, softmax)
Probabilités et statistiques dans les modèles séquentiels
Fonction d’activation et optimisation (fonction de perte, descente de gradient)
Notion d’encodage : embeddings, représentation vectorielle du langage
Mesure de similarité sémantique (cosine similarity, attention score)

Public cible Horaires

Étudiants en Mathématiques/Informatique et Science des Date : 14-15 juillet 2025
Données Heure : 9h - 12h
Étudiants à la Faculté des Sciences et de la Santé Lieu : Université de Kara
Chercheurs en NLP
Professionnels du secteur

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 2 / 40
Sommaire

1 Pourquoi l’Algèbre Linéaire ?

2 Pourquoi les Probabilités ?

3 Pourquoi les Fonctions d’Activation ?

4 Pourquoi vectoriser les mots ?

5 Mesure de similarité sémantique

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 3 / 40
 Pourquoi l’Algèbre Linéaire ?

Definitions

Transformer
Un transformer est une architecture flexible basée sur le mécanisme d’attention, capable de transformer des séquences d’entrée en sorties
complexes.

LLM
Un LLM (Large Language Model) est un modèle de langage basé sur des réseaux neuronaux profonds, entraîné sur de grandes quantités
de texte pour comprendre et générer du langage humain.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 4 / 40
 Pourquoi l’Algèbre Linéaire ?

Pourquoi l’Algèbre Linéaire ?

Les modèles de langage manipulent des vecteurs et des matrices à chaque étape.
Chaque mot est représenté comme un vecteur dans un espace à d dimensions.
L’architecture Transformer repose sur des multiplications matricielles massives.

Comprendre les fondements algébriques est essentiel pour interpréter les LLMs.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 5 / 40
 Pourquoi l’Algèbre Linéaire ?

Vecteurs dans le NLP

Un vecteur est une liste ordonnée de nombres réels :  

x1
x2 
 
⃗x =  . 
 .. 
xd
Représentation vectorielle d’un mot = embedding ∈ Rd
Exemple : “chat" →⃗vchat ∈ R300
Interprétation : chaque coordonnée encode un aspect sémantique latent (genre, animal, domestique, etc.)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 6 / 40
 Pourquoi l’Algèbre Linéaire ?

Vecteurs dans le NLP

Un vecteur est une liste ordonnée de nombres réels :  

x1
x2 
 
⃗x =  . 
 .. 
xd
Représentation vectorielle d’un mot = embedding ∈ Rd
Exemple : “chat" →⃗vchat ∈ R300
Interprétation : chaque coordonnée encode un aspect sémantique latent (genre, animal, domestique, etc.)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 6 / 40
 Pourquoi l’Algèbre Linéaire ?

Matrices dans les Transformers

Une matrice est une collection de vecteurs colonnes ou lignes :

 
w11 w12 ··· w1d
w21 w22 ··· w2d 
 
W = . . .. . 
 .. .
. . . 
.
wn1 wn2 ··· wnd

Exemple : la matrice d’embeddings E ∈ RV ×d

Chaque ligne = vecteur associé à un mot du vocabulaire

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 7 / 40
 Pourquoi l’Algèbre Linéaire ?

Tenseurs : une généralisation multidimensionnelle des matrices

Un tenseur est une structure de données mathématique qui généralise les scalaires (0D), vecteurs (1D) et matrices (2D) à des
dimensions supérieures.
Notation : T ∈ RB×T ×d signifie que T est un tenseur à 3 dimensions :
▶ B : taille du batch (nombre d’exemples traités en parallèle)
▶ T : longueur de la séquence (ex. nombre de mots dans une phrase)
▶ d : dimension d’un embedding (représentation vectorielle d’un mot)
Exemple : T [b,t, i] représente la ie composante de l’embedding du t e mot de la be phrase du batch.
Les tenseurs permettent de représenter efficacement des données complexes comme :
▶ Un lot de phrases vectorisées (texte)
▶ Une séquence d’images ou de frames (vidéo)
▶ Un volume médical 3D (scanner)
Transformers : modèles qui manipulent ces tenseurs en appliquant des opérations linéaires (produits matriciels, projections) et non
linéaires (softmax, attention).

À retenir : les tenseurs sont au coeur des architectures modernes d’apprentissage profond (transformers, CNN, RNN).

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 8 / 40
 Pourquoi l’Algèbre Linéaire ?

Produit Scalaire et Similarité

Produit scalaire de deux vecteurs ⃗u,⃗v ∈ Rd :

d
⃗u ·⃗v = ∑ ui vi
i=1
C’est une mesure d’alignement ou de corrélation directionnelle entre ⃗u et ⃗v.
Similarité cosinus : mesure la similarité entre deux vecteurs, indépendamment de leur norme :

⃗u ·⃗v
cos(θ) = ∈ [−1, 1]
∥⃗u∥∥⃗v∥

▶ = 1 si les vecteurs pointent dans la même direction

▶ = 0 s’ils sont orthogonaux (pas similaires)
▶ < 0 s’ils pointent dans des directions opposées
Exemple concret : Soient les représentations vectorielles de deux mots :

⃗u = [1, 2], ⃗v = [2, 3]

⃗u ·⃗v = 1 × 2 + 2 × 3 = 8
√ √ √
∥⃗u∥ = 12 + 22 = 5, ∥⃗v∥ = 13
8
cos(θ) = √ ≈ 0,99
5 × 13
Les deux mots sont fortement similaires.
Applications :
▶ Attention : mesure de la pertinence entre un mot "requête" et un mot "clé"
▶ Recherche sémantique : retrouver un document proche d’une requête

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 9 / 40
 Pourquoi l’Algèbre Linéaire ?

Produit Scalaire et Similarité

Produit scalaire de deux vecteurs ⃗u,⃗v ∈ Rd :

d
⃗u ·⃗v = ∑ ui vi
i=1
C’est une mesure d’alignement ou de corrélation directionnelle entre ⃗u et ⃗v.
Similarité cosinus : mesure la similarité entre deux vecteurs, indépendamment de leur norme :

⃗u ·⃗v
cos(θ) = ∈ [−1, 1]
∥⃗u∥∥⃗v∥

▶ = 1 si les vecteurs pointent dans la même direction

▶ = 0 s’ils sont orthogonaux (pas similaires)
▶ < 0 s’ils pointent dans des directions opposées
Exemple concret : Soient les représentations vectorielles de deux mots :

⃗u = [1, 2], ⃗v = [2, 3]

⃗u ·⃗v = 1 × 2 + 2 × 3 = 8
√ √ √
∥⃗u∥ = 12 + 22 = 5, ∥⃗v∥ = 13
8
cos(θ) = √ ≈ 0,99
5 × 13
Les deux mots sont fortement similaires.
Applications :
▶ Attention : mesure de la pertinence entre un mot "requête" et un mot "clé"
▶ Recherche sémantique : retrouver un document proche d’une requête

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 9 / 40
 Pourquoi l’Algèbre Linéaire ?

Produit Scalaire et Similarité

Produit scalaire de deux vecteurs ⃗u,⃗v ∈ Rd :

d
⃗u ·⃗v = ∑ ui vi
i=1
C’est une mesure d’alignement ou de corrélation directionnelle entre ⃗u et ⃗v.
Similarité cosinus : mesure la similarité entre deux vecteurs, indépendamment de leur norme :

⃗u ·⃗v
cos(θ) = ∈ [−1, 1]
∥⃗u∥∥⃗v∥

▶ = 1 si les vecteurs pointent dans la même direction

▶ = 0 s’ils sont orthogonaux (pas similaires)
▶ < 0 s’ils pointent dans des directions opposées
Exemple concret : Soient les représentations vectorielles de deux mots :

⃗u = [1, 2], ⃗v = [2, 3]

⃗u ·⃗v = 1 × 2 + 2 × 3 = 8
√ √ √
∥⃗u∥ = 12 + 22 = 5, ∥⃗v∥ = 13
8
cos(θ) = √ ≈ 0,99
5 × 13
Les deux mots sont fortement similaires.
Applications :
▶ Attention : mesure de la pertinence entre un mot "requête" et un mot "clé"
▶ Recherche sémantique : retrouver un document proche d’une requête

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 9 / 40
 Pourquoi l’Algèbre Linéaire ?

Produit Scalaire et Similarité

Produit scalaire de deux vecteurs ⃗u,⃗v ∈ Rd :

d
⃗u ·⃗v = ∑ ui vi
i=1
C’est une mesure d’alignement ou de corrélation directionnelle entre ⃗u et ⃗v.
Similarité cosinus : mesure la similarité entre deux vecteurs, indépendamment de leur norme :

⃗u ·⃗v
cos(θ) = ∈ [−1, 1]
∥⃗u∥∥⃗v∥

▶ = 1 si les vecteurs pointent dans la même direction

▶ = 0 s’ils sont orthogonaux (pas similaires)
▶ < 0 s’ils pointent dans des directions opposées
Exemple concret : Soient les représentations vectorielles de deux mots :

⃗u = [1, 2], ⃗v = [2, 3]

⃗u ·⃗v = 1 × 2 + 2 × 3 = 8
√ √ √
∥⃗u∥ = 12 + 22 = 5, ∥⃗v∥ = 13
8
cos(θ) = √ ≈ 0,99
5 × 13
Les deux mots sont fortement similaires.
Applications :
▶ Attention : mesure de la pertinence entre un mot "requête" et un mot "clé"
▶ Recherche sémantique : retrouver un document proche d’une requête

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 9 / 40
 Pourquoi l’Algèbre Linéaire ?

Fonction Softmax : transformation en distribution de probabilité

La fonction softmax transforme un vecteur de scores réels (z1 , . . . , zn ) en une distribution de probabilité sur n éléments :

ezi
softmax(zi ) =
∑nj=1 ez j

Interprétation :
▶ Amplifie les différences entre les scores (les plus grands deviennent dominants).
▶ Chaque zi est exponentié les écarts sont accentués.
▶ Résultat : des poids positifs normalisés (somme = 1) comparable à une probabilité.

Exemple pratique :
Soit ⃗z = [2, 1, 0] ⇒ ez = [e2 , e1 , e0 ] ≈ [7,39, 2,72, 1]
[ ]
7,39 2,72 1
softmax(z) ≈ , , ≈ [0,665, 0,245, 0,090]
11,11 11,11 11,11
Le score 2 reçoit le poids le plus élevé.
Application concrète :
▶ Dans les transformers, on calcule une similarité (produit scalaire) entre les vecteurs "requête" et "clé".
▶ Ces scores sont passés par une softmax pour en faire des poids d’attention.
▶ Chaque mot du contexte est pondéré selon sa pertinence pour produire une représentation contextuelle.
Propriétés fondamentales :
▶ 0 < softmax(zi ) < 1 pour tout i
▶ ∑i softmax(zi ) = 1 (distribution de probabilité)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 10 / 40
 Pourquoi l’Algèbre Linéaire ?

Fonction Softmax : transformation en distribution de probabilité

La fonction softmax transforme un vecteur de scores réels (z1 , . . . , zn ) en une distribution de probabilité sur n éléments :

ezi
softmax(zi ) =
∑nj=1 ez j

Interprétation :
▶ Amplifie les différences entre les scores (les plus grands deviennent dominants).
▶ Chaque zi est exponentié les écarts sont accentués.
▶ Résultat : des poids positifs normalisés (somme = 1) comparable à une probabilité.

Exemple pratique :
Soit ⃗z = [2, 1, 0] ⇒ ez = [e2 , e1 , e0 ] ≈ [7,39, 2,72, 1]
[ ]
7,39 2,72 1
softmax(z) ≈ , , ≈ [0,665, 0,245, 0,090]
11,11 11,11 11,11
Le score 2 reçoit le poids le plus élevé.
Application concrète :
▶ Dans les transformers, on calcule une similarité (produit scalaire) entre les vecteurs "requête" et "clé".
▶ Ces scores sont passés par une softmax pour en faire des poids d’attention.
▶ Chaque mot du contexte est pondéré selon sa pertinence pour produire une représentation contextuelle.
Propriétés fondamentales :
▶ 0 < softmax(zi ) < 1 pour tout i
▶ ∑i softmax(zi ) = 1 (distribution de probabilité)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 10 / 40
 Pourquoi l’Algèbre Linéaire ?

Fonction Softmax : transformation en distribution de probabilité

La fonction softmax transforme un vecteur de scores réels (z1 , . . . , zn ) en une distribution de probabilité sur n éléments :

ezi
softmax(zi ) =
∑nj=1 ez j

Interprétation :
▶ Amplifie les différences entre les scores (les plus grands deviennent dominants).
▶ Chaque zi est exponentié les écarts sont accentués.
▶ Résultat : des poids positifs normalisés (somme = 1) comparable à une probabilité.

Exemple pratique :
Soit ⃗z = [2, 1, 0] ⇒ ez = [e2 , e1 , e0 ] ≈ [7,39, 2,72, 1]
[ ]
7,39 2,72 1
softmax(z) ≈ , , ≈ [0,665, 0,245, 0,090]
11,11 11,11 11,11
Le score 2 reçoit le poids le plus élevé.
Application concrète :
▶ Dans les transformers, on calcule une similarité (produit scalaire) entre les vecteurs "requête" et "clé".
▶ Ces scores sont passés par une softmax pour en faire des poids d’attention.
▶ Chaque mot du contexte est pondéré selon sa pertinence pour produire une représentation contextuelle.
Propriétés fondamentales :
▶ 0 < softmax(zi ) < 1 pour tout i
▶ ∑i softmax(zi ) = 1 (distribution de probabilité)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 10 / 40
 Pourquoi l’Algèbre Linéaire ?

Fonction Softmax : transformation en distribution de probabilité

La fonction softmax transforme un vecteur de scores réels (z1 , . . . , zn ) en une distribution de probabilité sur n éléments :

ezi
softmax(zi ) =
∑nj=1 ez j

Interprétation :
▶ Amplifie les différences entre les scores (les plus grands deviennent dominants).
▶ Chaque zi est exponentié les écarts sont accentués.
▶ Résultat : des poids positifs normalisés (somme = 1) comparable à une probabilité.

Exemple pratique :
Soit ⃗z = [2, 1, 0] ⇒ ez = [e2 , e1 , e0 ] ≈ [7,39, 2,72, 1]
[ ]
7,39 2,72 1
softmax(z) ≈ , , ≈ [0,665, 0,245, 0,090]
11,11 11,11 11,11
Le score 2 reçoit le poids le plus élevé.
Application concrète :
▶ Dans les transformers, on calcule une similarité (produit scalaire) entre les vecteurs "requête" et "clé".
▶ Ces scores sont passés par une softmax pour en faire des poids d’attention.
▶ Chaque mot du contexte est pondéré selon sa pertinence pour produire une représentation contextuelle.
Propriétés fondamentales :
▶ 0 < softmax(zi ) < 1 pour tout i
▶ ∑i softmax(zi ) = 1 (distribution de probabilité)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 10 / 40
 Pourquoi l’Algèbre Linéaire ?

Fonction Softmax : transformation en distribution de probabilité

La fonction softmax transforme un vecteur de scores réels (z1 , . . . , zn ) en une distribution de probabilité sur n éléments :

ezi
softmax(zi ) =
∑nj=1 ez j

Interprétation :
▶ Amplifie les différences entre les scores (les plus grands deviennent dominants).
▶ Chaque zi est exponentié les écarts sont accentués.
▶ Résultat : des poids positifs normalisés (somme = 1) comparable à une probabilité.

Exemple pratique :
Soit ⃗z = [2, 1, 0] ⇒ ez = [e2 , e1 , e0 ] ≈ [7,39, 2,72, 1]
[ ]
7,39 2,72 1
softmax(z) ≈ , , ≈ [0,665, 0,245, 0,090]
11,11 11,11 11,11
Le score 2 reçoit le poids le plus élevé.
Application concrète :
▶ Dans les transformers, on calcule une similarité (produit scalaire) entre les vecteurs "requête" et "clé".
▶ Ces scores sont passés par une softmax pour en faire des poids d’attention.
▶ Chaque mot du contexte est pondéré selon sa pertinence pour produire une représentation contextuelle.
Propriétés fondamentales :
▶ 0 < softmax(zi ) < 1 pour tout i
▶ ∑i softmax(zi ) = 1 (distribution de probabilité)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 10 / 40
 Pourquoi l’Algèbre Linéaire ?

Briques de base prêtes

Les vecteurs représentent les mots.

Les matrices transforment et projettent ces vecteurs.
Les tenseurs manipulent les phrases complètes.
Le produit scalaire mesure la similarité.
Le softmax normalise pour pondérer les informations.

Prochaine étape : découvrir comment ces concepts construisent le coeur du Transformer.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 11 / 40
 Pourquoi les Probabilités ?

Pourquoi les Probabilités ?

Le langage humain est incertain, variable et souvent ambigu.

Il peut être modélisé comme une distribution de probabilité sur des séquences de mots.
Objectif des modèles de langage :
T
P(w1 , w2 , . . . , wT ) = ∏ P(wt | w1 , . . . , wt−1 )
t=1

Chaque mot dépend du contexte précédent, d’où l’intérêt des modèles séquentiels.

Un LLM est un estimateur probabiliste entraîné à prédire les mots dans de longues séquences.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 12 / 40
 Pourquoi les Probabilités ?

Pourquoi les Probabilités ?

Le langage humain est incertain, variable et souvent ambigu.

Il peut être modélisé comme une distribution de probabilité sur des séquences de mots.
Objectif des modèles de langage :
T
P(w1 , w2 , . . . , wT ) = ∏ P(wt | w1 , . . . , wt−1 )
t=1

Chaque mot dépend du contexte précédent, d’où l’intérêt des modèles séquentiels.

Un LLM est un estimateur probabiliste entraîné à prédire les mots dans de longues séquences.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 12 / 40
 Pourquoi les Probabilités ?

Distributions de Probabilité sur un Vocabulaire

Soit V un vocabulaire fini de taille |V | (ex. : les 50 000 mots les plus fréquents).
On modélise un mot w ∈ V comme une réalisation d’une variable aléatoire W .
La loi de probabilité de W est donnée par :
|V |
P(W = wi ), avec ∑ P(wi ) = 1
i=1

Interprétation : P(wi ) est la probabilité d’observer le mot wi dans un contexte donné.

Dans un corpus, on peut approximer cette loi par une distribution empirique :

Nombre d’apparitions de wi
P̂(wi ) =
Nombre total de mots observés
Cette estimation est la base de nombreux modèles statistiques de langage (n-gram, unigramme, etc.).

But d’un modèle de langage : approximer cette distribution, conditionnée par le contexte.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 13 / 40
 Pourquoi les Probabilités ?

Distributions de Probabilité sur un Vocabulaire

Soit V un vocabulaire fini de taille |V | (ex. : les 50 000 mots les plus fréquents).
On modélise un mot w ∈ V comme une réalisation d’une variable aléatoire W .
La loi de probabilité de W est donnée par :
|V |
P(W = wi ), avec ∑ P(wi ) = 1
i=1

Interprétation : P(wi ) est la probabilité d’observer le mot wi dans un contexte donné.

Dans un corpus, on peut approximer cette loi par une distribution empirique :

Nombre d’apparitions de wi
P̂(wi ) =
Nombre total de mots observés
Cette estimation est la base de nombreux modèles statistiques de langage (n-gram, unigramme, etc.).

But d’un modèle de langage : approximer cette distribution, conditionnée par le contexte.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 13 / 40
 Pourquoi les Probabilités ?

Modèles de Langage : Hypothèse de Markov

Objectif fondamental : estimer la probabilité jointe d’une séquence de mots :

P(w1 , w2 , . . . , wT )

Décomposition par la règle de la chaîne (ou règle du produit) :

T
P(w1 , . . . , wT ) = ∏ P(wt | w1 , w2 , . . . , wt−1 )
t=1

Hypothèse de Markov d’ordre n − 1 : on suppose que le mot wt ne dépend que des n − 1 derniers mots :

P(wt | w1 , . . . , wt−1 ) ≈ P(wt | wt−n+1 , . . . , wt−1 )

Exemple : modèle bigramme (n = 2) :

T
P(w1 , w2 , . . . , wT ) ≈ P(w1 ) ∏ P(wt | wt−1 )
t=2

Cette hypothèse permet de réduire la complexité du modèle tout en restant raisonnable pour de courtes séquences.

Limite : fenêtre de contexte fixe ⇒ incapacité à capturer des dépendances à long terme.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 14 / 40
 Pourquoi les Probabilités ?

Modèles de Langage : Hypothèse de Markov

Objectif fondamental : estimer la probabilité jointe d’une séquence de mots :

P(w1 , w2 , . . . , wT )

Décomposition par la règle de la chaîne (ou règle du produit) :

T
P(w1 , . . . , wT ) = ∏ P(wt | w1 , w2 , . . . , wt−1 )
t=1

Hypothèse de Markov d’ordre n − 1 : on suppose que le mot wt ne dépend que des n − 1 derniers mots :

P(wt | w1 , . . . , wt−1 ) ≈ P(wt | wt−n+1 , . . . , wt−1 )

Exemple : modèle bigramme (n = 2) :

T
P(w1 , w2 , . . . , wT ) ≈ P(w1 ) ∏ P(wt | wt−1 )
t=2

Cette hypothèse permet de réduire la complexité du modèle tout en restant raisonnable pour de courtes séquences.

Limite : fenêtre de contexte fixe ⇒ incapacité à capturer des dépendances à long terme.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 14 / 40
 Pourquoi les Probabilités ?

Estimation des Probabilités : Maximum de Vraisemblance (MLE)

Soit un corpus C contenant N mots, formant une séquence w1 , w2 , . . . , wN sur un vocabulaire fini V .
Objectif : estimer la probabilité conditionnelle P(wt | wt−1 ) à partir des données observées dans C.
Estimateur du Maximum de Vraisemblance (MLE) pour un modèle bigramme :

Count(wt−1 , wt )
P̂(wt | wt−1 ) =
Count(wt−1 )

où :
▶ Count(wt−1 , wt ) est le nombre de fois que wt suit wt−1 dans le corpus.
▶ Count(wt−1 ) = ∑w∈V Count(wt−1 , w) est le nombre total de fois où wt−1 apparaît comme mot précédent.

Cette estimation repose sur la fréquence relative observée dans le corpus : on suppose que la fréquence observée converge vers la
probabilité vraie lorsque la taille du corpus tend vers l’infini.

Problème : certaines transitions (wt−1 , wt ) peuvent ne jamais apparaître ⇒ probabilités nulles.

Solution : Techniques de lissage pour éviter les zéros :

Count(wt−1 , wt ) + α
Lissage additif (Laplace) : P̂(wt | wt−1 ) =
Count(wt−1 ) + α|V |
Lissage de Kneser-Ney (plus performant pour les grands corpus)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 15 / 40
 Pourquoi les Probabilités ?

Estimation des Probabilités : Maximum de Vraisemblance (MLE)

Soit un corpus C contenant N mots, formant une séquence w1 , w2 , . . . , wN sur un vocabulaire fini V .
Objectif : estimer la probabilité conditionnelle P(wt | wt−1 ) à partir des données observées dans C.
Estimateur du Maximum de Vraisemblance (MLE) pour un modèle bigramme :

Count(wt−1 , wt )
P̂(wt | wt−1 ) =
Count(wt−1 )

où :
▶ Count(wt−1 , wt ) est le nombre de fois que wt suit wt−1 dans le corpus.
▶ Count(wt−1 ) = ∑w∈V Count(wt−1 , w) est le nombre total de fois où wt−1 apparaît comme mot précédent.

Cette estimation repose sur la fréquence relative observée dans le corpus : on suppose que la fréquence observée converge vers la
probabilité vraie lorsque la taille du corpus tend vers l’infini.

Problème : certaines transitions (wt−1 , wt ) peuvent ne jamais apparaître ⇒ probabilités nulles.

Solution : Techniques de lissage pour éviter les zéros :

Count(wt−1 , wt ) + α
Lissage additif (Laplace) : P̂(wt | wt−1 ) =
Count(wt−1 ) + α|V |
Lissage de Kneser-Ney (plus performant pour les grands corpus)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 15 / 40
 Pourquoi les Probabilités ?

Entropie : Quantifier l’Incertitude

Soit une variable aléatoire W à valeurs dans un vocabulaire fini V = {w1 , w2 , . . . , w|V | }.
|V |
Sa loi de probabilité P est donnée par : P(wi ) ≥ 0 et ∑i=1 P(wi ) = 1.
L’entropie de Shannon est définie par :
|V |
H(P) = − ∑ P(wi ) log P(wi )
i=1

Elle mesure l’incertitude moyenne (en bits si log en base 2) :

▶ H(P) est minimale (= 0) si P est une distribution dirac (certitude absolue).
▶ H(P) est maximale si P est uniforme : P(wi ) = 1 pour tout i.
|V |

Interprétation :
▶ Faible entropie : la distribution est concentrée ⇒ le modèle est confiant.
▶ Haute entropie : la distribution est diffuse ⇒ le modèle est incertain.
Application : utilisée pour évaluer la "connaissance" d’un modèle de langage sur une tâche donnée, par exemple via la perplexité :

Perplexité = 2H(P) (mesure de difficulté moyenne à prédire un mot)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 16 / 40
 Pourquoi les Probabilités ?

Perplexité : Qualité d’un Modèle de Langage

Soit une séquence de mots w1 , w2 , . . . , wT issue d’un vocabulaire V , et un modèle de langage P qui assigne des probabilités
conditionnelles P(wt | w1 , . . . , wt−1 ).
Vraisemblance logarithmique moyenne :
T
1
ℓ(P) =
T ∑ log P(wt | w<t )
t=1

Perplexité (PPL) : mesure exponentielle de l’entropie moyenne sur la séquence :

( )
T
1
PPL(P) = exp (−ℓ(P)) = exp −
T ∑ log P(wt | w<t )
t=1

Interprétation :
▶ La perplexité est le nombre effectif de mots également probables que le modèle considère en moyenne à chaque position.
▶ Plus P(wt | w<t ) est concentré sur le bon mot, plus log P(wt | w<t ) est grand, donc la perplexité est faible.
▶ PPL minimale = 1 le modèle prédit toujours correctement avec probabilité 1.
Comparaison de modèles :
▶ Les modèles n-gram ont des PPL élevées (souvent > 100 sur des corpus ouverts).
▶ Les Transformers (BERT, GPT, etc.) ont des PPL beaucoup plus faibles (souvent < 20), grâce à leur capacité de généralisation et de capture du
contexte long.
La perplexité est une mesure importante pour l’évaluation quantitative des modèles de langage.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 17 / 40
 Pourquoi les Probabilités ?

Perplexité : Qualité d’un Modèle de Langage

Soit une séquence de mots w1 , w2 , . . . , wT issue d’un vocabulaire V , et un modèle de langage P qui assigne des probabilités
conditionnelles P(wt | w1 , . . . , wt−1 ).
Vraisemblance logarithmique moyenne :
T
1
ℓ(P) =
T ∑ log P(wt | w<t )
t=1

Perplexité (PPL) : mesure exponentielle de l’entropie moyenne sur la séquence :

( )
T
1
PPL(P) = exp (−ℓ(P)) = exp −
T ∑ log P(wt | w<t )
t=1

Interprétation :
▶ La perplexité est le nombre effectif de mots également probables que le modèle considère en moyenne à chaque position.
▶ Plus P(wt | w<t ) est concentré sur le bon mot, plus log P(wt | w<t ) est grand, donc la perplexité est faible.
▶ PPL minimale = 1 le modèle prédit toujours correctement avec probabilité 1.
Comparaison de modèles :
▶ Les modèles n-gram ont des PPL élevées (souvent > 100 sur des corpus ouverts).
▶ Les Transformers (BERT, GPT, etc.) ont des PPL beaucoup plus faibles (souvent < 20), grâce à leur capacité de généralisation et de capture du
contexte long.
La perplexité est une mesure importante pour l’évaluation quantitative des modèles de langage.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 17 / 40
 Pourquoi les Probabilités ?

Vers les Transformers

Les grands modèles de langage (LLMs) cherchent à approximer les probabilités conditionnelles :

P(wt | w1 , . . . , wt−1 ) = P(wt | w<t )

à l’aide d’architectures de réseaux de neurones profonds, en particulier les Transformers.

Chaque mot wt est représenté par un vecteur dense xt ∈ Rd obtenu via un embedding :

xt = Embed(wt )

La séquence d’entrées x1 , . . . , xt−1 est transformée via un encodeur Transformer (auto-attention, normalisation, etc.) en un vecteur
de contexte ht ∈ Rd :
ht = fθ (x1 , . . . , xt−1 )
Le modèle calcule alors une distribution de probabilité sur le vocabulaire V par la fonction softmax :

exp(⟨wi , ht ⟩ + bi )
P(wt = vi | w<t ) = |V |
∑ j=1 exp(⟨w j , ht ⟩ + b j )

où wi est le vecteur de poids associé au mot vi dans la matrice W ∈ R|V |×d .

En notation matricielle compacte :
pt = softmax(W ht + b)
où pt ∈ R|V | est la distribution prédite.
Les Transformers combinent une modélisation séquentielle, une attention contextuelle et une sortie probabiliste sur le vocabulaire.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 18 / 40
 Pourquoi les Probabilités ?

Vers les Transformers

Les grands modèles de langage (LLMs) cherchent à approximer les probabilités conditionnelles :

P(wt | w1 , . . . , wt−1 ) = P(wt | w<t )

à l’aide d’architectures de réseaux de neurones profonds, en particulier les Transformers.

Chaque mot wt est représenté par un vecteur dense xt ∈ Rd obtenu via un embedding :

xt = Embed(wt )

La séquence d’entrées x1 , . . . , xt−1 est transformée via un encodeur Transformer (auto-attention, normalisation, etc.) en un vecteur
de contexte ht ∈ Rd :
ht = fθ (x1 , . . . , xt−1 )
Le modèle calcule alors une distribution de probabilité sur le vocabulaire V par la fonction softmax :

exp(⟨wi , ht ⟩ + bi )
P(wt = vi | w<t ) = |V |
∑ j=1 exp(⟨w j , ht ⟩ + b j )

où wi est le vecteur de poids associé au mot vi dans la matrice W ∈ R|V |×d .

En notation matricielle compacte :
pt = softmax(W ht + b)
où pt ∈ R|V | est la distribution prédite.
Les Transformers combinent une modélisation séquentielle, une attention contextuelle et une sortie probabiliste sur le vocabulaire.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 18 / 40
 Pourquoi les Probabilités ?

Résumé et Transition

Le langage naturel est modélisé comme un processus stochastique séquentiel, où chaque mot dépend (au moins partiellement)
des précédents.
L’hypothèse de Markov (modèles n-gram) permet une estimation simplifiée des probabilités conditionnelles :

P(wt | w<t ) ≈ P(wt | wt−n+1 , . . . , wt−1 )

Des mesures d’évaluation comme l’entropie (incertitude) et la perplexité (qualité de prédiction) quantifient la performance des
modèles de langage.
Les LLMs (Large Language Models) étendent cette approche en modélisant P(wt | w<t ) à l’aide de réseaux neuronaux profonds,
capables d’intégrer un large contexte.

Prochain module : Mécanisme d’Attention et Architecture Transformer.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 19 / 40
 Pourquoi les Fonctions d’Activation ?

Pourquoi les Fonctions d’Activation ?

Un réseau de neurones est une composition de transformations :

h(1) = W (1) x + b(1) , h(2) = W (2) h(1) + b(2) , ...

Si l’on n’utilise que des transformations linéaires, alors toute composition reste linéaire :

h(n) = W (n) · · ·W (1) x + biais ⇒ Pas de gain en expressivité

Pour apprendre des fonctions non-linéaires complexes, on insère des fonctions d’activation non linéaires f entre chaque couche :

h(l) = f (W (l) h(l−1) + b(l) ), l = 1, . . . , L

Cela permet au réseau d’approximer des fonctions non linéaires arbitraires (Théorème d’universalité).

Les fonctions d’activation sont essentielles pour la puissance d’expression des réseaux neuronaux.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 20 / 40
 Pourquoi les Fonctions d’Activation ?

Pourquoi les Fonctions d’Activation ?

Un réseau de neurones est une composition de transformations :

h(1) = W (1) x + b(1) , h(2) = W (2) h(1) + b(2) , ...

Si l’on n’utilise que des transformations linéaires, alors toute composition reste linéaire :

h(n) = W (n) · · ·W (1) x + biais ⇒ Pas de gain en expressivité

Pour apprendre des fonctions non-linéaires complexes, on insère des fonctions d’activation non linéaires f entre chaque couche :

h(l) = f (W (l) h(l−1) + b(l) ), l = 1, . . . , L

Cela permet au réseau d’approximer des fonctions non linéaires arbitraires (Théorème d’universalité).

Les fonctions d’activation sont essentielles pour la puissance d’expression des réseaux neuronaux.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 20 / 40
 Pourquoi les Fonctions d’Activation ?

Exemples de Fonctions d’Activation (avec Propriétés)

Sigmoïde logistique :
1
f (x) = (valeurs dans (0, 1))
1 + e−x

▶ Dérivable, utilisée pour modéliser une probabilité

▶ Problème : saturation pour x ≪ 0 ou x ≫ 0 (vanishing gradient)
Tangente hyperbolique (tanh) :
ex − e−x
f (x) = tanh(x) = (valeurs dans (−1, 1))
ex + e−x

▶ Centrée en zéro (meilleure symétrie que sigmoïde)

▶ Même problème de saturation

ReLU (Rectified Linear Unit) :

f (x) = max(0, x)

▶ Non linéaire, mais simple à dériver (dérivée : 1 si x > 0, sinon 0)

▶ Rapide, favorise la convergence
▶ Problème : neurones morts si x < 0 fréquemment

GELU (Gaussian Error Linear Unit) : ∫ x

1 t2
f (x) = x · Φ(x), Φ(x) = √ e− 2 dt
2π −∞

▶ Approximation douce de ReLU : pondère x par sa probabilité d’être positif

▶ Utilisée dans BERT, GPT (meilleure expressivité empirique)

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 21 / 40
 Pourquoi les Fonctions d’Activation ?

Visualisation des Fonctions d’Activation

f (x)

x
−5 −4 −3 −2 −1 1 2 3 4 5

Sigmoïde
Tanh
−1 ReLU
GELU (approx.)

L’approximation de GELU utilisée ici est celle de H ENDRYCKS et G IMPEL (2016) :

( (√ ))
2( )
GELU(x) ≈ 0.5 x 1 + tanh x + 0.044715 x 3
π

Chaque fonction d’activation introduit une non-linéarité contrôlée pour enrichir la capacité d’expression du réseau.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 22 / 40
 Pourquoi les Fonctions d’Activation ?

Fonction de Perte (Loss Function)

En apprentissage supervisé, une fonction de perte L (y, ŷ) quantifie l’erreur entre la sortie prédite ŷ et la vérité de terrain y.
Dans le contexte du traitement du langage naturel (NLP), on utilise couramment la perte d’entropie croisée :

|V |
L (y, ŷ) = − ∑ yi log ŷi
i=1

où :
▶ y ∈ {0, 1}|V | est un vecteur one-hot indiquant le mot cible (réel),
▶ ŷ = softmax(z) est la distribution prédite sur le vocabulaire V , où z ∈ R|V | est le vecteur de scores logit produits par le modèle.
Cette perte correspond à l’opposé du log de la probabilité prédite pour la classe correcte :

L (y, ŷ) = − log ŷ j où j = arg max yi

i

Objectif : Minimiser la perte moyenne sur le corpus :

E(x,y)∼D [ L (y, ŷ(x)) ]

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 23 / 40
 Pourquoi les Fonctions d’Activation ?

Fonction de Perte (Loss Function)

En apprentissage supervisé, une fonction de perte L (y, ŷ) quantifie l’erreur entre la sortie prédite ŷ et la vérité de terrain y.
Dans le contexte du traitement du langage naturel (NLP), on utilise couramment la perte d’entropie croisée :

|V |
L (y, ŷ) = − ∑ yi log ŷi
i=1

où :
▶ y ∈ {0, 1}|V | est un vecteur one-hot indiquant le mot cible (réel),
▶ ŷ = softmax(z) est la distribution prédite sur le vocabulaire V , où z ∈ R|V | est le vecteur de scores logit produits par le modèle.
Cette perte correspond à l’opposé du log de la probabilité prédite pour la classe correcte :

L (y, ŷ) = − log ŷ j où j = arg max yi

i

Objectif : Minimiser la perte moyenne sur le corpus :

E(x,y)∼D [ L (y, ŷ(x)) ]

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 23 / 40
 Pourquoi les Fonctions d’Activation ?

Descente de Gradient : Principe

Soit L (θ) une fonction de coût (ou fonction objectif) à minimiser, où θ ∈ Rd est le vecteur des paramètres du modèle.
La descente de gradient est une méthode d’optimisation itérative basée sur le calcul du gradient :

θ(t+1) = θ(t) − η · ∇θ L (θ(t) )

où :
▶ θ(t) est la valeur des paramètres à l’itération t ,
▶ η > 0 est le taux d’apprentissage (learning rate),
▶ ∇θ L (θ) est le gradient de la fonction de perte par rapport à θ :
 ∂L 
∂θ
 1
 . 
∇θ L (θ) =  .  ∈ Rd
 . 
∂L
∂θd

Interprétation géométrique : ∇θ L (θ) indique la direction de la plus forte croissance locale de L ; on se déplace donc dans la direction
opposée pour la réduire.
Chaque mise à jour réduit la perte localement, en espérant converger vers un minimum (local ou global).

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 24 / 40
 Pourquoi les Fonctions d’Activation ?

Descente de Gradient : Principe

Soit L (θ) une fonction de coût (ou fonction objectif) à minimiser, où θ ∈ Rd est le vecteur des paramètres du modèle.
La descente de gradient est une méthode d’optimisation itérative basée sur le calcul du gradient :

θ(t+1) = θ(t) − η · ∇θ L (θ(t) )

où :
▶ θ(t) est la valeur des paramètres à l’itération t ,
▶ η > 0 est le taux d’apprentissage (learning rate),
▶ ∇θ L (θ) est le gradient de la fonction de perte par rapport à θ :
 ∂L 
∂θ
 1
 . 
∇θ L (θ) =  .  ∈ Rd
 . 
∂L
∂θd

Interprétation géométrique : ∇θ L (θ) indique la direction de la plus forte croissance locale de L ; on se déplace donc dans la direction
opposée pour la réduire.
Chaque mise à jour réduit la perte localement, en espérant converger vers un minimum (local ou global).

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 24 / 40
 Pourquoi les Fonctions d’Activation ?

Backpropagation : Calcul du Gradient

Objectif : calculer les dérivées partielles de la fonction de perte L par rapport aux paramètres θ du réseau.
Utilise la règle de la chaîne pour des fonctions composées :

∂L ∂L ∂z ∂h
= · ·
∂θ ∂z ∂h ∂θ
où typiquement h = f (W x + b) est une activation, et z = g(h) est une couche suivante.
Exemple : pour une couche linéaire suivie d’une activation f :

∂L ∂L ′
h = f (W x + b) ⇒ = · f (W x + b) · x⊤
∂W ∂h
La rétropropagation consiste à :
1 calculer l’erreur à la sortie du réseau,
2 propager cette erreur vers l’arrière couche par couche,
3 accumuler les gradients locaux pour obtenir les gradients globaux.
Implémentée efficacement via les bibliothèques d’auto-différentiation comme PyTorch ou TensorFlow.
La rétropropagation permet un entraînement efficace des réseaux profonds comme les Transformers.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 25 / 40
 Pourquoi les Fonctions d’Activation ?

Backpropagation : Calcul du Gradient

Objectif : calculer les dérivées partielles de la fonction de perte L par rapport aux paramètres θ du réseau.
Utilise la règle de la chaîne pour des fonctions composées :

∂L ∂L ∂z ∂h
= · ·
∂θ ∂z ∂h ∂θ
où typiquement h = f (W x + b) est une activation, et z = g(h) est une couche suivante.
Exemple : pour une couche linéaire suivie d’une activation f :

∂L ∂L ′
h = f (W x + b) ⇒ = · f (W x + b) · x⊤
∂W ∂h
La rétropropagation consiste à :
1 calculer l’erreur à la sortie du réseau,
2 propager cette erreur vers l’arrière couche par couche,
3 accumuler les gradients locaux pour obtenir les gradients globaux.
Implémentée efficacement via les bibliothèques d’auto-différentiation comme PyTorch ou TensorFlow.
La rétropropagation permet un entraînement efficace des réseaux profonds comme les Transformers.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 25 / 40
 Pourquoi les Fonctions d’Activation ?

Méthodes d’Optimisation Avancées

SGD (Stochastic Gradient Descent) :

▶ Met à jour les paramètres à partir du gradient évalué sur un mini-lot de données.
▶ Formule de mise à jour :
θt+1 = θt − η · ∇θ Lbatch (θt )
Momentum :
▶ Accélère la convergence en cumulant les gradients passés :

vt = βvt−1 + (1 − β)∇θ L (θt ), θt+1 = θt − ηvt

▶ β ∈ [0, 1] est le coefficient de friction (typiquement 0.9).
Adam (Adaptive Moment Estimation) :
▶ Combine Momentum (1er moment) et normalisation adaptative (2ème moment).
▶ Moyennes mobiles :
mt = β1 mt−1 + (1 − β1 )∇θ L (θt )
vt = β2 vt−1 + (1 − β2 ) (∇θ L (θt ))2
▶ Biais corrigés :
mt vt
m̂t = , v̂t =
1 − βt1 1 − βt2
▶ Mise à jour finale :
m̂t
θt+1 = θt − η · √
v̂t + ε
▶ β1 = 0,9, β2 = 0,999, ε ≈ 10−8 sont les valeurs standard.

Remarque : Adam est largement utilisé dans les LLMs (Transformers, BERT, GPT) pour sa stabilité et sa rapidité de convergence.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 26 / 40
 Pourquoi vectoriser les mots ?

Pourquoi vectoriser les mots ?

Les modèles d’apprentissage profond opèrent dans des espaces vectoriels : les entrées doivent appartenir à Rd .
Or, les mots sont des objets discrets, non numériques : "chien", "maison", etc.
On introduit une application de plongement (embedding) :

ϕ : V → Rd

où V est le vocabulaire (ensemble fini ou large de symboles linguistiques), et ϕ(w) est une représentation dense du mot w dans Rd .
Propriétés attendues de ϕ :
▶ Sémantique : des mots similaires doivent être proches en norme euclidienne ou cosinus :

sim(wi , w j ) := cos(ϕ(wi ), ϕ(w j )) ≈ 1.

▶ Syntaxe : les relations grammaticales doivent également émerger via les opérations linéaires (ex : genre, pluriel, temps).
▶ Capacité de généralisation : ϕ doit permettre à un réseau de généraliser à des contextes linguistiques nouveaux.
Le but de la vectorisation est d’encoder structurellement les propriétés linguistiques dans un espace métrique exploitable par les modèles
neuronaux.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 27 / 40
 Pourquoi vectoriser les mots ?

Pourquoi vectoriser les mots ?

Les modèles d’apprentissage profond opèrent dans des espaces vectoriels : les entrées doivent appartenir à Rd .
Or, les mots sont des objets discrets, non numériques : "chien", "maison", etc.
On introduit une application de plongement (embedding) :

ϕ : V → Rd

où V est le vocabulaire (ensemble fini ou large de symboles linguistiques), et ϕ(w) est une représentation dense du mot w dans Rd .
Propriétés attendues de ϕ :
▶ Sémantique : des mots similaires doivent être proches en norme euclidienne ou cosinus :

sim(wi , w j ) := cos(ϕ(wi ), ϕ(w j )) ≈ 1.

▶ Syntaxe : les relations grammaticales doivent également émerger via les opérations linéaires (ex : genre, pluriel, temps).
▶ Capacité de généralisation : ϕ doit permettre à un réseau de généraliser à des contextes linguistiques nouveaux.
Le but de la vectorisation est d’encoder structurellement les propriétés linguistiques dans un espace métrique exploitable par les modèles
neuronaux.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 27 / 40
 Pourquoi vectoriser les mots ?

Encodage One-Hot

Soit un vocabulaire V = {w1 , w2 , . . . , w|V | } contenant |V | mots distincts.

L’encodage one-hot est une fonction d’injection
ϕ : V → {0, 1}|V | ⊂ R|V |
telle que pour tout i ∈ {1, . . . , |V |},
ϕ(wi ) = ei = (0, . . . , 0, 1 , 0, . . . , 0)
i-ième

où ei est le i-ème vecteur de la base canonique de R|V | .

Conséquences mathématiques :
▶ ∀i ̸= j, ⟨ϕ(wi ), ϕ(w j )⟩ = 0 : tous les vecteurs sont orthogonaux.
▶ ∥ϕ(wi )∥2 = 1 : chaque vecteur a norme unitaire.
Limitations majeures :
▶ Sparsité extrême : chaque vecteur a une seule coordonnée non nulle ⇒ inefficacité mémoire.
▶ Absence de sémantique : "chien" et "chat" sont aussi éloignés que "chien" et "banane".
▶ Pas de généralisation : le modèle ne peut rien inférer sur un mot qu’il n’a pas vu pendant l’apprentissage.

L’encodage one-hot est une représentation symbolique sans structure géométrique exploitable par les modèles neuronaux.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 28 / 40
 Pourquoi vectoriser les mots ?

Encodage One-Hot

Soit un vocabulaire V = {w1 , w2 , . . . , w|V | } contenant |V | mots distincts.

L’encodage one-hot est une fonction d’injection
ϕ : V → {0, 1}|V | ⊂ R|V |
telle que pour tout i ∈ {1, . . . , |V |},
ϕ(wi ) = ei = (0, . . . , 0, 1 , 0, . . . , 0)
i-ième

où ei est le i-ème vecteur de la base canonique de R|V | .

Conséquences mathématiques :
▶ ∀i ̸= j, ⟨ϕ(wi ), ϕ(w j )⟩ = 0 : tous les vecteurs sont orthogonaux.
▶ ∥ϕ(wi )∥2 = 1 : chaque vecteur a norme unitaire.
Limitations majeures :
▶ Sparsité extrême : chaque vecteur a une seule coordonnée non nulle ⇒ inefficacité mémoire.
▶ Absence de sémantique : "chien" et "chat" sont aussi éloignés que "chien" et "banane".
▶ Pas de généralisation : le modèle ne peut rien inférer sur un mot qu’il n’a pas vu pendant l’apprentissage.

L’encodage one-hot est une représentation symbolique sans structure géométrique exploitable par les modèles neuronaux.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 28 / 40
 Pourquoi vectoriser les mots ?

Vers des Représentations Denses

Objectif : Apprendre une représentation vectorielle dense de chaque mot dans un vocabulaire V , c’est-à-dire une application

ϕ : V → Rd ,

où la dimension d est bien plus petite que la taille du vocabulaire, i.e. d ≪ |V |.

Hypothèse distributionnelle (Principe de Harris, 1954) :

“Un mot est défini par le contexte dans lequel il apparaît.”

Formellement, cela signifie que la représentation d’un mot doit capturer la distribution de ses contextes d’apparition. Autrement dit, deux
mots apparaissant dans des contextes similaires doivent avoir des représentations proches dans Rd .
Contexte et objectif d’apprentissage : Pour un mot cible w ∈ V , on note C(w) l’ensemble de ses contextes observés dans un corpus.
Chaque contexte est typiquement constitué des mots voisins dans une fenêtre glissante. Le but est d’apprendre ϕ(w) tel que la probabilité
conditionnelle
P(c | w) ou P(w | c)
soit bien modélisée par la similarité dans l’espace vectoriel.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 29 / 40
 Pourquoi vectoriser les mots ?

Vers des représentations denses

Principales approches :
1 Word2Vec (Mikolov et al., 2013) :
▶ CBOW (Continuous Bag of Words) : modélise P(w | contexte) en prédisant le mot cible à partir de son contexte.
▶ Skip-Gram : modélise P(contexte | w) en prédisant les mots de contexte à partir du mot cible.
Ces modèles optimisent une fonction de log-vraisemblance sur le corpus, souvent avec des approximations comme le negative
sampling ou le hierarchical softmax.
2 GloVe (Pennington et al., 2014) : Apprend des vecteurs en factorisant une matrice de co-occurrences globales entre mots et
contextes. Le modèle repose sur la relation approximative :

ϕ(wi )⊤ ψ(w j ) + bi + b̃ j ≈ log(Xi j ),

où Xi j est le nombre de co-occurrences du mot wi avec le contexte w j , et ϕ, ψ sont des représentations du mot et du contexte
respectivement.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 30 / 40
 Pourquoi vectoriser les mots ?

Word2Vec Skip-Gram

Objectif : apprendre une fonction d’embedding ϕ : V → Rd telle que les mots apparaissant dans des contextes similaires aient des
représentations proches.
Skip-Gram : pour un mot cible wt , prédire les mots du contexte Ct = {wt−c , . . . , wt+c } \ {wt } dans une fenêtre de taille 2c.
On cherche à maximiser la probabilité conjointe :
∏ P(wt+k | wt )
−c≤k≤c, k̸=0

Cette probabilité est modélisée via une couche softmax :

exp(⃗v⊤
wi ⃗
uwo )
P(wo | wi ) =
∑w∈V exp(⃗ v⊤wi ⃗
uw )

où :
▶ ⃗vw ∈ Rd : vecteur d’entrée (embedding du mot cible)
i
▶ ⃗uwo ∈ Rd : vecteur de sortie (embedding du mot contexte)
Problème : le coût computationnel de la normalisation est O (|V |).
Solution pratique : Negative Sampling (Mikolov et al., 2013) :
K [ ]
log σ(⃗v⊤ uwo ) + ∑ Ew j ∼Pn log σ(−⃗v⊤
wi ⃗ wi ⃗
uw j )
j=1

▶ K : nombre d’exemples négatifs

▶ Pn : distribution de bruit (souvent Pn (w) ∝ f (w)3/4 )
▶ σ(x) = 1−x : fonction sigmoïde
1+e
Word2Vec encode les régularités sémantiques dans l’espace vectoriel par apprentissage non supervisé.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 31 / 40
 Pourquoi vectoriser les mots ?

Word2Vec Skip-Gram

Objectif : apprendre une fonction d’embedding ϕ : V → Rd telle que les mots apparaissant dans des contextes similaires aient des
représentations proches.
Skip-Gram : pour un mot cible wt , prédire les mots du contexte Ct = {wt−c , . . . , wt+c } \ {wt } dans une fenêtre de taille 2c.
On cherche à maximiser la probabilité conjointe :
∏ P(wt+k | wt )
−c≤k≤c, k̸=0

Cette probabilité est modélisée via une couche softmax :

exp(⃗v⊤
wi ⃗
uwo )
P(wo | wi ) =
∑w∈V exp(⃗ v⊤wi ⃗
uw )

où :
▶ ⃗vw ∈ Rd : vecteur d’entrée (embedding du mot cible)
i
▶ ⃗uwo ∈ Rd : vecteur de sortie (embedding du mot contexte)
Problème : le coût computationnel de la normalisation est O (|V |).
Solution pratique : Negative Sampling (Mikolov et al., 2013) :
K [ ]
log σ(⃗v⊤ uwo ) + ∑ Ew j ∼Pn log σ(−⃗v⊤
wi ⃗ wi ⃗
uw j )
j=1

▶ K : nombre d’exemples négatifs

▶ Pn : distribution de bruit (souvent Pn (w) ∝ f (w)3/4 )
▶ σ(x) = 1−x : fonction sigmoïde
1+e
Word2Vec encode les régularités sémantiques dans l’espace vectoriel par apprentissage non supervisé.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 31 / 40
 Pourquoi vectoriser les mots ?

Word2Vec Skip-Gram

Objectif : apprendre une fonction d’embedding ϕ : V → Rd telle que les mots apparaissant dans des contextes similaires aient des
représentations proches.
Skip-Gram : pour un mot cible wt , prédire les mots du contexte Ct = {wt−c , . . . , wt+c } \ {wt } dans une fenêtre de taille 2c.
On cherche à maximiser la probabilité conjointe :
∏ P(wt+k | wt )
−c≤k≤c, k̸=0

Cette probabilité est modélisée via une couche softmax :

exp(⃗v⊤
wi ⃗
uwo )
P(wo | wi ) =
∑w∈V exp(⃗ v⊤wi ⃗
uw )

où :
▶ ⃗vw ∈ Rd : vecteur d’entrée (embedding du mot cible)
i
▶ ⃗uwo ∈ Rd : vecteur de sortie (embedding du mot contexte)
Problème : le coût computationnel de la normalisation est O (|V |).
Solution pratique : Negative Sampling (Mikolov et al., 2013) :
K [ ]
log σ(⃗v⊤ uwo ) + ∑ Ew j ∼Pn log σ(−⃗v⊤
wi ⃗ wi ⃗
uw j )
j=1

▶ K : nombre d’exemples négatifs

▶ Pn : distribution de bruit (souvent Pn (w) ∝ f (w)3/4 )
▶ σ(x) = 1−x : fonction sigmoïde
1+e
Word2Vec encode les régularités sémantiques dans l’espace vectoriel par apprentissage non supervisé.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 31 / 40
 Pourquoi vectoriser les mots ?

GloVe Global Vectors

Objectif : apprendre des vecteurs de mots ⃗vi ,⃗v j ∈ Rd tels que leur produit scalaire encode les statistiques globales de co-occurrence
des mots dans un corpus.
On construit une matrice de co-occurrence X ∈ R|V |×|V | :

Xi j = nombre de fois que le mot w j apparaît dans le contexte de wi .

Hypothèse centrale : il existe une relation linéaire entre les représentations vectorielles et log(Xi j ) :

⃗v⊤
i ⃗v j + bi + b j ≈ log(Xi j )

où bi , b j sont des biais scalaires associés aux mots wi et w j .

Fonction de coût à minimiser :
|V | ( )2
J= ∑ f (Xi j ) ⃗v⊤
i ⃗v j + bi + b j − log Xi j
i, j=1

avec f une fonction de pondération qui réduit l’influence des grandes fréquences :
{( )α
x
xmax si x < xmax
f (x) =
1 sinon

Typiquement, α = 0,75 et xmax = 100.

GloVe capture des régularités sémantiques et syntaxiques à partir des co-occurrences globales, contrairement à Word2Vec basé sur
des fenêtres locales.
GloVe tire profit de la structure statistique globale du corpus pour produire des embeddings informatifs.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 32 / 40
 Pourquoi vectoriser les mots ?

GloVe Global Vectors

Objectif : apprendre des vecteurs de mots ⃗vi ,⃗v j ∈ Rd tels que leur produit scalaire encode les statistiques globales de co-occurrence
des mots dans un corpus.
On construit une matrice de co-occurrence X ∈ R|V |×|V | :

Xi j = nombre de fois que le mot w j apparaît dans le contexte de wi .

Hypothèse centrale : il existe une relation linéaire entre les représentations vectorielles et log(Xi j ) :

⃗v⊤
i ⃗v j + bi + b j ≈ log(Xi j )

où bi , b j sont des biais scalaires associés aux mots wi et w j .

Fonction de coût à minimiser :
|V | ( )2
J= ∑ f (Xi j ) ⃗v⊤
i ⃗v j + bi + b j − log Xi j
i, j=1

avec f une fonction de pondération qui réduit l’influence des grandes fréquences :
{( )α
x
xmax si x < xmax
f (x) =
1 sinon

Typiquement, α = 0,75 et xmax = 100.

GloVe capture des régularités sémantiques et syntaxiques à partir des co-occurrences globales, contrairement à Word2Vec basé sur
des fenêtres locales.
GloVe tire profit de la structure statistique globale du corpus pour produire des embeddings informatifs.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 32 / 40
 Pourquoi vectoriser les mots ?

GloVe Global Vectors

Objectif : apprendre des vecteurs de mots ⃗vi ,⃗v j ∈ Rd tels que leur produit scalaire encode les statistiques globales de co-occurrence
des mots dans un corpus.
On construit une matrice de co-occurrence X ∈ R|V |×|V | :

Xi j = nombre de fois que le mot w j apparaît dans le contexte de wi .

Hypothèse centrale : il existe une relation linéaire entre les représentations vectorielles et log(Xi j ) :

⃗v⊤
i ⃗v j + bi + b j ≈ log(Xi j )

où bi , b j sont des biais scalaires associés aux mots wi et w j .

Fonction de coût à minimiser :
|V | ( )2
J= ∑ f (Xi j ) ⃗v⊤
i ⃗v j + bi + b j − log Xi j
i, j=1

avec f une fonction de pondération qui réduit l’influence des grandes fréquences :
{( )α
x
xmax si x < xmax
f (x) =
1 sinon

Typiquement, α = 0,75 et xmax = 100.

GloVe capture des régularités sémantiques et syntaxiques à partir des co-occurrences globales, contrairement à Word2Vec basé sur
des fenêtres locales.
GloVe tire profit de la structure statistique globale du corpus pour produire des embeddings informatifs.
Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 32 / 40
 Pourquoi vectoriser les mots ?

Exemples de sémantique vectorielle

⃗vroi −⃗vhomme +⃗vfemme ≈⃗vreine

Les relations sémantiques (genre, pluriel, métier) deviennent des directions vectorielles.
Ces propriétés sont émergentes dans l’espace d’embedding.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 33 / 40
 Pourquoi vectoriser les mots ?

Embeddings dans les Transformers

Dans les modèles de type Transformer (Vaswani et al., 2017), les vecteurs d’entrée sont constitués de la combinaison de deux types
d’embeddings :
vtokeni ∈ Rd . Ces unités proviennent
1 Token embeddings : chaque unité linguistique (mot, sous-mot ou caractère) est associée à un vecteur appris ⃗

souvent d’un découpage par :

BPE (Byte Pair Encoding),
WordPiece,
SentencePiece.
2 Positional embeddings : ajoutent l’information de la position i dans la séquence. Deux types :
Sinusoïdaux (non appris) : définis par ( ) ( )
i i
PE(i,2k) = sin , PE(i,2k+1) = cos
100002k/d 100002k/d
où d est la dimension d’embedding.
Appris : vecteurs ⃗vpositioni ∈ Rd optimisés pendant l’entraînement.

Le vecteur d’entrée final pour la position i est :

⃗ei =⃗vtokeni +⃗vpositioni
Ce vecteur ⃗ei est ensuite passé au premier bloc du Transformer (couche d’attention).
Cette représentation vectorielle riche permet au modèle de tenir compte à la fois du contenu et de la position dans la séquence.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 34 / 40
 Pourquoi vectoriser les mots ?

Embeddings dans les Transformers

Dans les modèles de type Transformer (Vaswani et al., 2017), les vecteurs d’entrée sont constitués de la combinaison de deux types
d’embeddings :
vtokeni ∈ Rd . Ces unités proviennent
1 Token embeddings : chaque unité linguistique (mot, sous-mot ou caractère) est associée à un vecteur appris ⃗

souvent d’un découpage par :

BPE (Byte Pair Encoding),
WordPiece,
SentencePiece.
2 Positional embeddings : ajoutent l’information de la position i dans la séquence. Deux types :
Sinusoïdaux (non appris) : définis par ( ) ( )
i i
PE(i,2k) = sin , PE(i,2k+1) = cos
100002k/d 100002k/d
où d est la dimension d’embedding.
Appris : vecteurs ⃗vpositioni ∈ Rd optimisés pendant l’entraînement.

Le vecteur d’entrée final pour la position i est :

⃗ei =⃗vtokeni +⃗vpositioni
Ce vecteur ⃗ei est ensuite passé au premier bloc du Transformer (couche d’attention).
Cette représentation vectorielle riche permet au modèle de tenir compte à la fois du contenu et de la position dans la séquence.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 34 / 40
 Pourquoi vectoriser les mots ?

Résumé et Transition

Les mots sont transformés en vecteurs à l’aide d’embeddings.

Les modèles pré-Transformer (Word2Vec, GloVe) apprennent des représentations statiques.
Les LLMs utilisent des embeddings dynamiques apprises pendant l’entraînement.
Position et contexte sont intégrés dans les représentations.

Prochaine étape : comprendre comment ces représentations sont traitées par l’auto-attention.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 35 / 40
 Mesure de similarité sémantique

Mesure de Similarité entre Représentations

En traitement automatique des langues (NLP), chaque mot (ou phrase) est représenté par un vecteur dense ⃗v ∈ Rd .
Objectif : quantifier la proximité sémantique entre deux représentations vectorielles ⃗u,⃗v ∈ Rd .
Deux approches principales :

1 Similarité cosinus : mesure l’angle entre deux vecteurs (indépendamment de leur norme) :

⃗u⊤⃗v
simcos (⃗u,⃗v) = ∈ [−1, 1]
∥⃗u∥ · ∥⃗v∥

▶ Si simcos ≈ 1 : vecteurs très proches directionnellement ⇒ forte similarité.

▶ Si simcos ≈ 0 : vecteurs orthogonaux ⇒ pas de lien.
▶ Si simcos < 0 : directions opposées.
2 Score d’attention (Transformers) : défini pour une paire de vecteurs requête ⃗q et clé ⃗k :

⃗q⊤⃗k
score(⃗q,⃗k) = √ (produit scalaire normalisé)
d

▶ Plus le produit scalaire est élevé, plus l’attention accordée est forte.
√
▶ Le facteur d évite des valeurs trop grandes pour des grandes dimensions.
La similarité vectorielle est au coeur de la compréhension sémantique dans les LLMs.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 36 / 40
 Mesure de similarité sémantique

Mesure de Similarité entre Représentations

En traitement automatique des langues (NLP), chaque mot (ou phrase) est représenté par un vecteur dense ⃗v ∈ Rd .
Objectif : quantifier la proximité sémantique entre deux représentations vectorielles ⃗u,⃗v ∈ Rd .
Deux approches principales :

1 Similarité cosinus : mesure l’angle entre deux vecteurs (indépendamment de leur norme) :

⃗u⊤⃗v
simcos (⃗u,⃗v) = ∈ [−1, 1]
∥⃗u∥ · ∥⃗v∥

▶ Si simcos ≈ 1 : vecteurs très proches directionnellement ⇒ forte similarité.

▶ Si simcos ≈ 0 : vecteurs orthogonaux ⇒ pas de lien.
▶ Si simcos < 0 : directions opposées.
2 Score d’attention (Transformers) : défini pour une paire de vecteurs requête ⃗q et clé ⃗k :

⃗q⊤⃗k
score(⃗q,⃗k) = √ (produit scalaire normalisé)
d

▶ Plus le produit scalaire est élevé, plus l’attention accordée est forte.
√
▶ Le facteur d évite des valeurs trop grandes pour des grandes dimensions.
La similarité vectorielle est au coeur de la compréhension sémantique dans les LLMs.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 36 / 40
 Mesure de similarité sémantique

Visualisation Géométrique de la Similarité Cosinus

⃗v

⃗u

L’angle θ entre les vecteurs ⃗u et ⃗v détermine leur similarité directionnelle.

La similarité cosinus est définie par :
⃗u⊤⃗v
cos(θ) =
∥⃗u∥ · ∥⃗v∥
cos(θ) est maximal (=1) quand ⃗u et ⃗v pointent dans la même direction.
L’orientation dans l’espace vectoriel encode des relations sémantiques entre mots.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 37 / 40
 Mesure de similarité sémantique

Visualisation Géométrique de la Similarité Cosinus

⃗v

⃗u

L’angle θ entre les vecteurs ⃗u et ⃗v détermine leur similarité directionnelle.

La similarité cosinus est définie par :
⃗u⊤⃗v
cos(θ) =
∥⃗u∥ · ∥⃗v∥
cos(θ) est maximal (=1) quand ⃗u et ⃗v pointent dans la même direction.
L’orientation dans l’espace vectoriel encode des relations sémantiques entre mots.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 37 / 40
 Mesure de similarité sémantique

Similarité Cosinus et Attention dans les Transformers

Chaque token xi est encodé comme vecteur ⃗xi ∈ Rd .

Ces vecteurs sont transformés en :
▶ Requête ⃗qi = W Q⃗xi
▶ Clé ⃗k j = W K⃗x j

Le score d’attention entre xi et x j est :

⃗q⊤⃗k j
score(i, j) = √
i
d
▶ Produit scalaire directionnel : lié à la similarité cosinus.
√
▶ Normalisation par d : contrôle l’amplitude des gradients.
Application du softmax :
exp(score(i, j))
αi j =
∑nk=1 exp(score(i, k))
αi j représente la part d’attention que le token xi accorde au token x j .
L’auto-attention apprend quelles parties de la séquence sont importantes pour chaque token.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 38 / 40
 Mesure de similarité sémantique

Exemple Numérique Simplifié : Attention

[ ]
1
Soit une requête Q = et deux clés :
0
[ ] [ ]
1 0
K1 = , K2 =
0 1
Calcul des scores d’attention (produits scalaires sans normalisation) :

s1 = Q⊤ K1 = 1 · 1 + 0 · 0 = 1

s2 = Q⊤ K2 = 1 · 0 + 0 · 1 = 0
Application de la fonction softmax : ( )
es1 es2
softmax(s1 , s2 ) = , s
s
+e 2 e 1 +e 2 s es1
( 1 0 ) ( )
e e e 1
= , = , ≈ (0.731, 0.269)
e1 + e0 e1 + e0 e+1 e+1
Interprétation : la requête Q est beaucoup plus proche de K1 que de K2 , donc le poids d’attention est fortement concentré sur K1 .
Le mécanisme d’attention discrimine les tokens selon leur similarité directionnelle.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 39 / 40
 Mesure de similarité sémantique

Exemple Numérique Simplifié : Attention

[ ]
1
Soit une requête Q = et deux clés :
0
[ ] [ ]
1 0
K1 = , K2 =
0 1
Calcul des scores d’attention (produits scalaires sans normalisation) :

s1 = Q⊤ K1 = 1 · 1 + 0 · 0 = 1

s2 = Q⊤ K2 = 1 · 0 + 0 · 1 = 0
Application de la fonction softmax : ( )
es1 es2
softmax(s1 , s2 ) = , s
s
+e 2 e 1 +e 2 s es1
( 1 0 ) ( )
e e e 1
= , = , ≈ (0.731, 0.269)
e1 + e0 e1 + e0 e+1 e+1
Interprétation : la requête Q est beaucoup plus proche de K1 que de K2 , donc le poids d’attention est fortement concentré sur K1 .
Le mécanisme d’attention discrimine les tokens selon leur similarité directionnelle.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 39 / 40
 Mesure de similarité sémantique

Résumé

La similarité cosinus permet de comparer des mots/vecteurs.

Elle est la base des mécanismes d’attention.
L’Attention Score est une mesure pondérée utilisée pour extraire les dépendances dans le texte.

À suivre : Module 2 Mécanisme complet des Transformers.

Tiebekabe Pagdame Enseignant-chercheur Fondements Mathématiques des Transformers et des LLMs 14 juillet 2025 40 / 40