LLaMA
LLaMA (Large Language Model Meta AI) est un grand modèle linguistique développé par Meta et rendu publiquement accessible[1]. Deux autres versions du modèle plus spécifiques, optimisées à partir de LLaMA, ont également été publiées par Meta : un agent conversationnel, appelé Llama Chat, et un assistant de programmation, Code Llama. D'autres modèles de langage comme Alpaca ont également vu le jour en entrainant les poids de Llama sur de nouvelles données[2].
Origine du nom
[modifier | modifier le code]LLaMA est l'accronyme de Large Language Model Meta AI (Grand modèle de Language Meta IA en français). Cet accronyme ressemble au nom du lama, un camélidé sud-américain. Cette homonymie[3] est probablement souhaitée pour une meilleur mémorabilité. Ce nom est ce qui justifie le choix d'Alpaca comme nom d'agent conversationnel basé sur LLaMA, l'alpaga (alpaca en anglais) étant un autre camélidé d'Amérique du Sud.
Version initiale
[modifier | modifier le code]La version initiale a été publiée en février 2023, en quatre tailles différentes : 7, 13, 33 et 65 milliards de paramètres. À l'origine, seuls la méthodologie, l'architecture des modèles et les résultats expérimentaux furent publiés. Seuls certains chercheurs qui en ont fait la demande peuvent avoir accès au modèle[4].
Le 3 mars 2023, une semaine après la publication de la méthodologie et de l'architecture, un fichier torrent contenant l'intégralité du modèle est publié sur 4chan[5].
Llama 2
[modifier | modifier le code]En juillet 2023, Meta publie une deuxième version, en trois tailles différentes cette fois: 7B[6], 13B[7] et 70B[8]. La version en 34B a été entrainé par Meta également mais dû à un manque de temps, ils n'ont pas pu publier ce modèle. L'architecture est sensiblement la même mais l'entrainement a été réalisé à partir d'un corpus environ 40% plus volumineux[9]. Cette-fois, Meta publie elle-même les paramètres dès la sortie du modèle.
Avec la publication de Llama 2, Meta publie Llama 2-Chat, une version de Llama optimisée pour les dialogues[9]. Trois versions du modèle sont disponibles: 7B, 13B et 70B.
Code Llama
[modifier | modifier le code]Peu de temps après, en août 2023, Meta dévoile Code Llama et ses variations Code Llama Instruct et Code Llama Python[10]. Ces modèles sont basés sur Llama 2 et ajustés finement sur du code. Ils sont d'abord disponibles en open source en version 7B, 13B et 34B, puis le 29 janvier 2024 une version en 70B est également publiée[11].
Llama 3
[modifier | modifier le code]Le 18 avril 2024, Meta lança Llama 3 en des version de 8 et 70 milliards de paramètres. Ces modèles furent pré-entraînés sur environ 15 000 trilliards de jetons de texte provenant de « sources disponibles publiquement »[12], les modèles d'instructions étant fine-tunés sur « des ensembles de données d'instructions disponibles publiquement, ainsi que sur plus de 10 millions d'exemples annotés par des humains ». Meta prévoit de sortir des modèles multimodaux, des modèles capables de converser dans plusieurs langues, et des modèles avec des fenêtres de contexte plus larges. Une version de 405 milliards de paramètres est annoncée à la mi-2024[13].
Poids ouverts plutôt qu'Open source
[modifier | modifier le code]LLaMA se présente comme un modèle ouvert, mais le code d'entrainement ni les données d'entrainement ne le sont, ce qui fait préférer le terme de « poids ouverts »[14],[15]. Le dépôt contient le code source d'inférence et de la documentation (guide de l'utilisateur, guide de l'utilisateur responsable et model card) permettant une bonne utilisation du modèle. Utiliser LLaMA implique accepter les termes de la license de LLaMA qui notamment interdit certains cas d'utilisation du modèle[16]. En respectant les termes de la license, il est possible d'utiliser, de reproduire, de distribuer, de copier, de créer des œuvres dérivées et d'apporter des modifications aux différents composants de LLaMA mis à disposition, y compris pour une activité lucrative.
Tout comme tous les autres grands modèles lignuistiques actuels (août 2024), il nécessite que ces paramètres (poids) soient stockés dans la mémoire vive, pour s'executer à une vitesse raisonnable, ce qui rend les grands modèles souvent inaccessibles pour des ordinateurs personnels. Certains services en ligne proposent de passer par leur serveur pour utiliser LLaMA. La contrepartie d'une utilisation en ligne du service est que vous n'avez pas accès à tous les paramètres et vous ne pouvez pas charger vos propres modèles.
Notes et références
[modifier | modifier le code]- (en) « Llama », sur Llama (consulté le )
- « Alpaca: A Strong, Replicable Instruction-Following Model », sur crfm.stanford.edu (consulté le )
- Le nom anglais du lama s'écrit llama.
- Antoine Messina, « LLaMA, le modèle de langage de Meta, a fuité », sur Siècle Digital, (consulté le )
- Mélicia Poitiers, « LLaMA, le dernier modèle d'IA générative de Meta, a été partagé illicitement sur Internet », Usine Digitale, (lire en ligne, consulté le )
- « meta-llama/Llama-2-7b · Hugging Face », sur huggingface.co (consulté le )
- « meta-llama/Llama-2-13b · Hugging Face », sur huggingface.co (consulté le )
- « meta-llama/Llama-2-70b · Hugging Face », sur huggingface.co (consulté le )
- Hugo Touvron, Louis Martin, Kevin Stone et Peter Albert, « Llama 2: Open Foundation and Fine-Tuned Chat Models », arXiv, (DOI 10.48550/ARXIV.2307.09288, lire en ligne, consulté le )
- (en) « Introducing Code Llama, a state-of-the-art large language model for coding », sur ai.meta.com (consulté le )
- « Avec Code Llama 70B, Meta améliore la génération de code - Le Monde Informatique », sur LeMondeInformatique, (consulté le )
- (en) « LLaMa3 Model », (consulté le )
- (en-US) Armand Ruiz, « Meta releases new Llama 3.1 models, including highly anticipated 405B parameter variant », sur IBM Blog, (consulté le )
- (en) « Meta’s LLaMa 2 license is not Open Source », sur opensource.org
- (en) « GitHub - facebookresearch/llama at llama_v1 », sur GitHub (consulté le )
- (en) « Download Llama », sur Llama (consulté le )
Voir aussi
[modifier | modifier le code]Articles connexes
[modifier | modifier le code]Liens externes
[modifier | modifier le code]
- (en) Site officiel