Article
Travail 1 : A Prompt Pattern Catalog to Enhance Prompt
Engineering with ChatGPT
Cet article propose un catalogue de modèles de prompts pour améliorer le
prompt engineering avec ChatGPT. Les auteurs ont développé plusieurs
catégories de modèles de prompts pour résoudre des problèmes communs
dans les interactions conversationnelles avec les LLM. Les catégories incluent
la personnalisation de la sortie, la gestion du contexte, l'identification des
erreurs, et l'amélioration des prompts. Ce travail met l'accent sur la création de
prompts structurés et adaptables qui peuvent être réutilisés et adaptés à
différents LLMs (ar5iv) (ar5iv).
Travail 2 : Prompt Programming for Large Language Models:
Beyond the Few-Shot Paradigm
Cet article explore les dynamiques du langage et les méthodes pour créer des
prompts efficaces pour les LLMs comme GPT-3. Les auteurs discutent de la
complexité de la programmation en langage naturel et proposent des
techniques pour améliorer la performance des modèles en ajustant les
prompts. Ils introduisent des concepts tels que la programmation
anthropomorphique des prompts, où les prompts sont conçus en modélisant
des auteurs humains virtuels. Le travail présente également des méthodes pour
surmonter les limitations des LLMs dans les situations nécessitant des
raisonnements silencieux entre les tokens (ar5iv) (ar5iv).
Plan de Recherche
Objectif
Comparer les performances de GPT-3 et BERT en utilisant les techniques de
prompt engineering et de fine-tuning décrites dans les deux travaux. Appliquer
les méthodes de chaque travail à l'autre modèle pour évaluer leur efficacité
respective.
Méthodologie
1. Collecte de Données :
Article 1
Utiliser des datasets standards pour les tâches de génération de texte
et de classification (par exemple, SQuAD pour la réponse aux questions
et GLUE pour la classification de texte).
2. Développement des Prompts :
Créer des prompts spécifiques pour GPT-3 et BERT basés sur les
techniques décrites dans les travaux. Adapter ces prompts pour chaque
tâche spécifique.
3. Fine-Tuning des Modèles :
Entraîner GPT-3 et BERT sur les datasets choisis en utilisant les
techniques de fine-tuning décrites dans les travaux existants.
4. Comparaison des Résultats :
Utiliser des métriques standard (précision, rappel, F1-score) pour
évaluer les performances des modèles sur les tâches NLP.
Effectuer une analyse qualitative des résultats pour mesurer la
pertinence et la cohérence des sorties générées.
Étapes Suivantes
1. Identifier et Télécharger les Travaux Pertinents : Accéder aux articles
détaillant les méthodes de prompt engineering et de fine-tuning pour GPT-3
et BERT.
2. Configurer l'Environnement d'Expérimentation : Préparer les modèles et
les datasets pour l'entraînement et l'évaluation.
3. Exécuter les Expériences : Appliquer les méthodes sélectionnées et
collecter les résultats pour analyse.
Conclusion
En suivant cette approche, vous pouvez créer une étude comparative qui
apporte des insights nouveaux et significatifs en évaluant l'efficacité relative de
différentes méthodes de l'IA pour des tâches spécifiques. Cela vous permettra
également de contribuer à la littérature existante en proposant des
améliorations ou des alternatives aux méthodes actuellement utilisées.
Article 2