Scribd
Importer
26 vues9 pages

Maths de la Génération de Texte IA

Le document explique comment une intelligence artificielle génère des réponses en utilisant des concepts mathématiques tels que l'algèbre linéaire, les probabilités et les réseaux neuronaux. Il décrit un processus en six étapes, allant de l'encodage du texte à la restitution de la réponse finale, en passant par l'analyse contextuelle et l'optimisation. La conclusion souligne l'importance des mathématiques dans le fonctionnement des IA génératives.

Transféré par

Diack Modou
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
26 vues9 pages

Maths de la Génération de Texte IA

Le document explique comment une intelligence artificielle génère des réponses en utilisant des concepts mathématiques tels que l'algèbre linéaire, les probabilités et les réseaux neuronaux. Il décrit un processus en six étapes, allant de l'encodage du texte à la restitution de la réponse finale, en passant par l'analyse contextuelle et l'optimisation. La conclusion souligne l'importance des mathématiques dans le fonctionnement des IA génératives.

Transféré par

Diack Modou
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Les Maths derrière la Génération

de Texte en IA
Dr. Clotilde Djuikem

Dr. Clotilde Djuikem 1/9


Introduction

Problématique
Comment une intelligence artificielle génère-t-elle des
réponses en utilisant des mathématiques ?

Processus en simplifié 6 étapes


Encodage du texte avec l’algèbre linéaire.
Analyse contextuelle avec les probabilités.
Passage à travers un réseau neuronal (Transformers).
Optimisation par descente de gradient.
Évaluation par la théorie de l’information.
Restitution de la réponse finale.
Dr. Clotilde Djuikem 2/9
Encodage du Texte

Transformation des mots en vecteurs


Chaque mot est transformé en un vecteur dans un espace
de dimension d : w = (w1 , w2 , ..., wd ) ∈ Rd
Exemple pour le mot ”Fourier” :

wFourier = (−0.12, 0.54, ..., −0.89)


L’ensemble du texte est représenté par une matrice :
 
w1,1 w1,2 . . . w1,d
w
 2,1 w2,2 . . . w2,d 

X =  .. .. . . .
.  ∈ Rn×d
 . . . . 
wn,1 wn,2 . . . wn,d
Dr. Clotilde Djuikem 3/9
Analyse Contextuelle avec les Probabilités

Prédiction des mots suivants


L’IA estime la probabilité du mot suivant avec :

exp(s(wi , wi+1 ))
P(wi+1 |w1 , w2 , ..., wi ) = P
j exp(s(wi , wj ))
où la similarité cosinus est donnée par :
wi · wj
s(wi , wj ) =
∥wi ∥∥wj ∥

Dr. Clotilde Djuikem 4/9


Propagation dans un Réseau Neuronal (Transformers)

Mécanisme d’auto-attention
Les modèles Transformers utilisent l’auto-attention :

QK T
 
Attention(Q, K , V ) = softmax √ V
dk
où :
Q, K , V sont les matrices de requêtes, clés et valeurs,
dk est la dimension du vecteur clé.

Dr. Clotilde Djuikem 5/9


Optimisation par Descente de Gradient

Ajustement des poids


Pour minimiser l’erreur, la descente de gradient ajuste les
paramètres :

W (t+1) = W (t) − η∇W L(W )


où :
η est le taux d’apprentissage,
∇W L(W ) est le gradient de la fonction de perte.

Dr. Clotilde Djuikem 6/9


Évaluation avec la Théorie de l’Information

Entropie de Shannon
L’IA mesure la diversité de la réponse avec :
X
H(X ) = − P(xi ) log P(xi )
i
Interprétation :
Si H(X ) est faible, la réponse est trop répétitive.
Si H(X ) est trop élevée, la réponse est aléatoire.

Dr. Clotilde Djuikem 7/9


Restitution Optimisée de la Réponse

Après toutes ces étapes, l’IA génère la réponse finale


optimisée :
Exemple de Réponse
La transformation de Fourier est une technique
permettant de convertir un signal du domaine temporel
vers le domaine fréquentiel, ce qui est crucial en IA pour
analyser des patterns cachés dans les données.
Ps: ça c’est ’est une réponse de ChatGPT, en essayant un
code avec Python on peut avoir une réponse qui est moins
optimisée, et surtout avec des mots qui peuvent être mal
placé. C’est pour cette raison qu’il faut améliorer les
modèles.
Dr. Clotilde Djuikem 8/9
Conclusion

Les mathématiques sont représentent du fonctionnement


des IA génératives — Les maths c’est la vie.
Grâce à l’algèbre linéaire, les probabilités, les
Transformers, l’optimisation et la théorie de l’information,
une IA est capable de comprendre et de générer du texte
de manière cohérente.
Si vous avez trouvé cette application des maths utile et
intéressante, n’oubliez pas de liker et de vous abonner à
Clotilde Djuikem sur LinkedIn et Tioh Academy sur
Youtube !

Dr. Clotilde Djuikem 9/9

Vous aimerez peut-être aussi