xTuring est un logiciel open-source qui permet de personnaliser les modèles de
langage massive (LLMs) en les adaptant à vos besoins spécifiques. Il est conçu pour
être facile à utiliser et permet de personnaliser les modèles de langage massive
pour vos propres données et applications[1]. Les modèles pris en charge par xTuring
incluent des versions de base, LoRA, INT8, LoRA + INT8, LoRA + INT4, et d'autres
modèles qui peuvent être testés et fine-tunés à l'aide de la classe
GenericModel[5]. Voici une liste de modèles pris en charge par xTuring :
- Base versions
- Model, Model Key, LoRA, INT8, LoRA + INT8, LoRA + INT4
- LLaMA
- GPT-J
- GPT-2
- OPT
- Cerebras-GPT
- Galactica
- Bloom
- Falcon
- Stable Diffusion
- INT3, INT2, INT1[5][7][8]
Voici une brève description de chaque modèle :
1. **Base versions** : Ces modèles sont des versions de base sans aucune
personnalisation. Ils peuvent être utilisés comme point de départ pour la
personnalisation de vos propres modèles.
2. **Model Key** : Ce modèle n'est pas spécifié dans les résultats de recherche. Il
est possible qu'il s'agisse d'une référence à un modèle spécifique.
3. **LoRA** : LoRA est une méthode de compression de modèles de langage massive qui
permet de réduire le coût de stockage et d'exécution des modèles. Elle est basée
sur la compression des poids des modèles et est compatible avec différents types de
modèles de langage massive[2].
4. **INT8** : INT8 est une méthode de compression de modèles de langage massive qui
utilise une représentation entière de 8 bits pour les poids des modèles. Cela
permet de réduire le coût de stockage et d'exécution des modèles[2].
5. **LoRA + INT8** : Cette méthode combinée utilise la compression de LoRA et la
compression de INT8 pour réduire le coût de stockage et d'exécution des modèles de
langage massive[2].
6. **LoRA + INT4** : Cette méthode combinée utilise la compression de LoRA et la
compression de INT4 pour réduire le coût de stockage et d'exécution des modèles de
langage massive[2].
7. **LLaMA** : LLaMA est un modèle de langage massive de 7B paramètres qui a été
entraîné sur des données publiques exclusivement, sans recours à des données
propriétaires ou inaccessibles[5].
8. **GPT-J** : GPT-J est un modèle de langage massive de 6B paramètres qui a été
entraîné sur des données publiques exclusivement, sans recours à des données
propriétaires ou inaccessibles[5].
9. **GPT-2** : GPT-2 est un modèle de langage massive de 1.5B paramètres qui a été
entraîné sur des données publiques exclusivement, sans recours à des données
propriétaires ou inaccessibles[5].
10. **OPT** : OPT est un modèle de langage massive de 1.5B paramètres qui a été
entraîné sur des données publiques exclusivement, sans recours à des données
propriétaires ou inaccessibles[5].
11. **Cerebras-GPT** : Cerebras-GPT est un modèle de langage massive de 6B
paramètres qui a été entraîné sur des données publiques exclusivement, sans recours
à des données propriétaires ou inaccessibles[5].
12. **Galactica** : Galactica est un modèle de langage massive de 6B paramètres qui
a été entraîné sur des données publiques exclusivement, sans recours à des données
propriétaires ou inaccessibles[5].
13. **Bloom** : Bloom est un modèle de langage massive de 176B paramètres qui a été
entraîné sur des données publiques exclusivement, sans recours à des données
propriétaires ou inaccessibles[5].
14. **Falcon** : Falcon est un modèle de langage massive de 7B paramètres qui a été
entraîné sur des données publiques exclusivement, sans recours à des données
propriétaires ou inaccessibles[5].
15. **Stable Diffusion** : Stable Diffusion est un modèle de langage massive qui
utilise la diffusion pour générer des textes cohérents et cohérents[5].
16. **INT3, INT2, INT1** : Ces méthodes sont des méthodes de compression de modèles
de langage massive qui utilisent des représentations entières de 3, 2 et 1 bit pour
les poids des modèles, respectivement[2].