Scribd
Importer
3 vues2 pages

Transformeurs : Avancées et Applications

Ce module aborde les extensions des transformeurs, en mettant l'accent sur les améliorations architecturales comme BERT, GPT et T5, ainsi que leur application dans divers domaines tels que la vision et la biologie. Il discute également des adaptations spécialisées des transformeurs dans des secteurs comme la bioinformatique, la finance et la génération de code. Enfin, le module souligne les défis éthiques et sociétaux associés à leur déploiement.

Transféré par

sevenindustries56
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd
3 vues2 pages

Transformeurs : Avancées et Applications

Ce module aborde les extensions des transformeurs, en mettant l'accent sur les améliorations architecturales comme BERT, GPT et T5, ainsi que leur application dans divers domaines tels que la vision et la biologie. Il discute également des adaptations spécialisées des transformeurs dans des secteurs comme la bioinformatique, la finance et la génération de code. Enfin, le module souligne les défis éthiques et sociétaux associés à leur déploiement.

Transféré par

sevenindustries56
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd

Module 4: Advanced Topics and

Applications of Transformers
Ce module explore les extensions des transformeurs, notamment les architectures avancées,
leur utilisation dans divers domaines (NLP, vision, biologie, etc.), ainsi que les défis éthiques
et sociétaux liés à leur déploiement.

Week 7: Variants and Evolution of Transformer Models


1. Améliorations Architecturales

Depuis Attention Is All You Need, plusieurs variantes ont été développées pour améliorer
l'efficacité et la performance des transformeurs :

 BERT (Bidirectional Encoder Representations from Transformers) :


o Apprentissage bidirectionnel (contrairement aux modèles auto-régressifs
comme GPT).
o Pré-entraînement avec Masked Language Model (MLM) et Next Sentence
Prediction (NSP).
 GPT (Generative Pre-trained Transformer) :
o Modèle auto-régressif utilisé pour la génération de texte.
o Prédit le mot suivant dans une séquence, sans mécanisme de bidirectionnalité.
 T5 (Text-to-Text Transfer Transformer) :
o Formulation unifiée où toute tâche est convertie en entrée/sortie texte.
o Ex. : “Traduire : Bonjour → Hello” ou “Résumé : Ce document parle de…”
 Transformer pour la vision (ViT, DETR) :
o ViT (Vision Transformer) applique le mécanisme d’attention sur des patchs
d’images.
o DETR (DEtection TRansformer) pour la détection d’objets sans ancrages
(anchors).
 Efficient Transformers :
o Linformer, Longformer, Reformer, Performer : optimisations pour réduire
la complexité quadratique en mémoire et en calcul.

2. Adaptations Spécialisées

 Transformers en bioinformatique :
o AlphaFold (DeepMind) pour la prédiction de structures protéiques.
o Modélisation du repliement des protéines et interactions moléculaires.
 Transformers en Finance et Prédiction de Séries Temporelles :
o Utilisation pour la prévision des tendances de marché.
o Modèles comme Time-Series Transformer pour les séries temporelles
complexes.
 Transformers en Génération de Code :
o Codex (OpenAI) pour la génération assistée de code (ex. GitHub Copilot).
o PolyCoder, CodeGen pour la programmation automatique.

Vous aimerez peut-être aussi