LLAMA 2 : Tellement bon qu'on l'a nommé deux fois
Un aperçu rapide de LLAMA 2 et une brève récapitulation de ce qui l'a précédé
Meta a donc fait une chose. LLAMA 2 est maintenant disponible !
Mais qu'est-ce qu'un LLAMA, comment en sommes-nous arrivés là et que devez-vous(oui, vous) savoir si vous voulez l'utiliser.
Qu'est-ce qu'un LLAMA ?
Le LLAMA est un camélidé domestiqué d'Amérique du Sud, largement utilisé comme animal de boucherie et de bât par les cultures andines depuis l'ère précolombienne.
LLAMA est également le grand modèle linguistique de Meta, qui a été mis à jour récemment - et c'est de cela qu'il s'agit ici.
(llama est apparemment aussi un terme de bowling pour quatre strikes d'affilée - ce qui pourrait vous faire gagner un jour un quiz)
Comment en sommes-nous arrivés là ?
La genèse de LLAMA 2 est une véritable histoire. Alors, attachez votre ceinture, car nous sommes sur la bonne voie.
Revenons quelques mois en arrière.
- Google a nargué les dieux de la démo et a fait comme Tesla lors de la sortie de Bard(lien).
- Elon Musk a fait un vieux tour de passe-passe en demandant l'arrêt de l'IA avant de créer sa propre entreprise d'IA. Elon classique. Le plus vieux truc du livre.
- Et Samsung a décidé d'ouvrir ses documents internes(lien).
De bons moments.
MAIS AUSSI: Meta est entré dans le chat.
Mark Zuckerberg a exposé sa vision soigneusement construite selon laquelle les LLM à code source ouvert sont l'avenir et a audacieusement lancé LLAMA en tant que modèle totalement ouvert - sans conditions !
Ce qui aurait été une initiative audacieuse (ou devrais-je dire "re-marquable") s'il n'y avait pas eu un défaut majeur : ce n'est pas du tout ce qui s'est passé en réalité.
Récapitulons donc ce qui s'est passé :
Février : Meta publie LLAMA
Mark et sa bande funky annoncent que le train de la hype LLM ne quittera pas la gare sans eux et sortent leur propre modèle : LLAMA.
Ou devrais-je dire LLAMA-RK. Désolé.
Contrairement aux suspects habituels (à savoir Google, AWS, Microsoft et OpenAI), ils ont décidé de ne pas garder le modèle sous clé 🔐.
Au lieu de cela, ils ont choisi de partager le modèle avec un groupe restreint de chercheurs sous une licence non commerciale.
De cette façon, ils veulent "maintenir l'intégrité et empêcher toute utilisation abusive". Ce qu'ils feront - à moins que quelqu'un ne divulgue le LLAMA, mais cela n'arrivera jamais.
Mars : Meta fait une erreur
Presque immédiatement, quelqu'un fait fuir LLAMA. C'est-à-dire l'intégralité du projet. Désormais, n'importe qui peut mettre la main sur le modèle et en faire ce qu'il veut, en contournant complètement les restrictions.
Meta souligne que, malgré la fuite, la licence de la LLAMA s'applique toujours.
Vous ne pouvez toujours pas l'utiliser à des fins commerciales et les personnes non autorisées ne peuvent toujours pas l'utiliser du tout.
Mars : Des personnes non autorisées utilisent quand même le LLAMA
La communauté de l'IA a réagi à l'avertissement de Meta par un "c'est fou" collectif et a commencé à l'ignorer complètement.
À ce stade, le modèle est entre les mains des masses. Et ces mains sont notoirement collantes.
Meta se rend compte qu'il ne peut pas poursuivre littéralement tout le monde, accepte en gros le L et laisse couler.
Remarque complémentaire : ils sont beaucoup moins indulgents en ce qui concerne l'interdiction de l'utilisation commerciale et il leur est tout à fait possible de poursuivre les entreprises, alors ne vous faites pas d'illusions.
Mars - juillet : Les gens font du jambon avec le LLAMA
Il n'a pas fallu longtemps à la communauté de l'IA pour faire ce qu'elle fait le mieux : optimiser l'enfer de quelque chose.
Et bon sang, ils ont optimisé le LLAMA.
En l'espace de quelques semaines, des personnes ont réussi à faire fonctionner LLAMA sur un téléphone. Les gens s'entraînaient à des variantes de LLAMA telles que Vicuna, qui rivalisent avec le Bard de Google, en ne dépensant que quelques centaines d'euros.
Juillet : La boucle est bouclée
La fuite qui, à l'origine, a frappé Meta de plein fouet (pardonnez mon français) a fait le tour de la question et, ironiquement, est devenue leur plus grand avantage.
Ils avaient initialement prévu de donner le LLAMA à un groupe restreint de chercheurs qui pourraient le peaufiner et l'optimiser.
Au lieu de cela, le modèle a fait l'objet d'une fuite vers le grand public. Ce qui n'est évidemment pas une bonne chose pour une entreprise multimilliardaire, mais cela a également permis à tout le monde d'optimiser le LLAMA (et pas seulement à quelques chercheurs).
Cela a accéléré les progrès au-delà de leurs estimations les plus optimistes.
Était-ce le plan de Meta depuis le début ?
Nous laissons cette question à nos collègues spécialistes des théories du complot.
Juillet : Meta double la mise et sort LLAMA 2
Ce qui nous amène à aujourd'hui. Meta vient de publier une importante mise à jour de son modèle LLAMA. Et il est open-source. A dessein cette fois !
Il y a cependant quelques conditions à respecter sur lesquelles nous reviendrons(*cliffhanger*).
Cela confirme plus ou moins qu'ils doublent la tendance open-source qu'ils ont involontairement lancée.
Il faut aimer la façon dont les choses se déroulent parfois.
Examinons de plus près ce qu'ils ont publié exactement, ce que sont ces fameuses quelques ficelles et ce que cela signifie pour vous.
Ce qu'il faut savoir sur LLAMA 2
Petit avertissement : tous les détails techniques sont joliment et succinctement présentés dans l 'annonce de Meta, donc la régurgitation des mêmes informations n'apporte pas grand-chose.
Nous allons donc passer sur les détails et nous concentrer sur les points essentiels que vous(oui, vous) devez connaître.
C'est bien, mais nous n'en sommes qu'au début.
LLAMA 2 existe en quatre tailles (7B, 13B, 65B et 70B).
- Les variétés les plus petites atteignent à peu près les mêmes performances que l'état actuel des sources ouvertes (bien qu'avec un modèle beaucoup plus petit).
- Les variétés les plus grandes sont nettement meilleures que l'état actuel des sources ouvertes.
Remarque secondaire obligatoire : l'évaluation des LLM est notoirement difficile. Actuellement, les évaluations sont basées sur l'évaluation GPT-4, l'évaluation humaine (subjective) et les résultats des tests standardisés (c'est-à-dire les SAT et autres).
Par conséquent, toutes les déclarations sur la précision que nous faisons ici ne sont en aucun cas très précises (ironiquement), mais suffisantes pour obtenir une impression générale.
C'est très bien, mais ce n'est pas la fin de la route. Il s'en faut de peu.
Tout comme LLAMA a fait l'objet d'une fuite, LLAMA 2 est maintenant entre les mains d'un grand nombre de personnes. D'autant plus qu'il ne s'agit même plus d'une zone grise juridique, ces mains seront fermement collées à leurs claviers collectifs - travaillant leur magie et optimisant l'enfer hors de lui.
En fait, nous voyons déjà les premiers signes de la magie de l'open-source, par exemple :
- Baby Llama: implémentation de LLAMA 2 entièrement en C
- Stable Beluga 2: instruction fine-tuned LLAMA 2 by stability.ai
- ...
Attendez-vous à beaucoup d' autres progrès en matière de logiciels libres basés sur LLAMA 2.
C'est un logiciel libre mais pas vraiment ?
C'est là qu'interviennent les fameuses petites conditions.
Voici ce qu'il en est :
Est-ce un logiciel libre ? Oui.
Peut-on l'utiliser à des fins commerciales ? Oui.
Mais il y a quelques mises en garde à faire :
- Si vous avez plus de 700 millions d'utilisateurs actifs mensuels, vous avez besoin d'une licence de Meta. Ce n'est probablement pas un problème pour vous, mais ça l'est pour les fournisseurs de cloud.
- Vous ne pouvez pas utiliser LLAMA 2 (ou son résultat) pour améliorer d'autres LLM. Encore une fois, cela ne devrait pas être un problème pour vous mais ça l'est pour les concurrents de Meta.
- Vous ne pouvez pas utiliser LLAMA 2 d'une manière illégale, contraire à l'éthique ou irresponsable. Il s'agit de la définition de l'utilisation acceptable de Meta pour ce qui est du manque d'éthique et de l'irresponsabilité. Cela rappelle beaucoup l'initiative OpenRAIL que, par exemple, StableDiffusion a adoptée dans sa licence.
Nous vous recommandons vivement de consulter la politique d'utilisation acceptable de Meta. Bien que, dans l'ensemble, elle corresponde à ce que vous attendez d'elle.
Si vous souhaitez lire la licence LLAMA 2 dans son intégralité, n 'hésitez pas.
Remarque complémentaire : la licence renvoie à la politique d'utilisation acceptable par le biais d'une URL.
Ainsi, s'ils ont fait une autre erreur et oublié quelque chose d'important, ils peuvent toujours revenir en arrière et l'ajouter sans avoir besoin de toucher à la licence elle-même.
Si vous voulez utiliser le modèle et jouer la carte de la sécurité, nous vous suggérons de faire une copie PDF datée de la politique d'utilisation acceptable.
Des affaires solides pour Meta
Dans l'ensemble, il s'agit d'une entreprise intelligente de la part de Meta.
Avec leur licence LLAMA 2, ils combinent essentiellement les avantages de l'open-source avec les avantages de l'closed-source :
- D'une part, le grand public peut éthiquement utiliser LLAMA 2 comme bon lui semble. Meta bénéficiera donc de tous les progrès réalisés dans le domaine des logiciels libres.
- D'un autre côté, les autres fournisseurs de modèles ne peuvent essentiellement pas utiliser LLAMA 2, ce qui protège l'avantage concurrentiel de Meta.
Et les principaux fournisseurs de nuages ne peuvent pas revendre LLAMA 2 sans un accord commercial avec Meta, ce qui est exactement la façon dont ils veulent le monétiser.
Vous ne me croyez pas ? Mark Zuckerberg l'a dit lors de la conférence téléphonique sur les résultats trimestriels de Meta:
"Si vous êtes quelqu'un comme Microsoft, Amazon ou Google, et que vous revendez les services, nous pensons que nous devrions recevoir une partie des revenus pour cela"
~ Mark Zuckerberg, 27 juillet 2023
En gros, tout le monde peut l'utiliser de manière éthique, à l'exception de leurs concurrents et des parties qui peuvent leur rapporter gros 💸. Plutôt malin.
En fait, c'est tellement intelligent que nous pourrions voir ces licences semi-ouvertes/pseudo-ouvertes devenir une norme industrielle plus large (*présage*).
Si cela s'avère exact, vous l'avez entendu ici en premier.
Si sa carrière en MMA ne marche pas, ce Mark Zuckerberg devrait envisager de créer une entreprise.
Meta Microsoft
Microsoft est officiellement le partenaire privilégié de Meta pour LLAMA 2.
Cependant, la portée exacte du statut de partenaire privilégié de LLAMA 2 n'est pas claire comme de l'eau de roche. Comme, par exemple, le modèle est également disponible sur AWS et Google Cloud, nous savons qu'il ne s'agit pas d'un accord d'exclusivité.
Quoi qu'il en soit, il est intéressant de voir Microsoft doubler son partenariat avec Meta après son partenariat avec OpenAI.
- Microsoft considère-t-il la stratégie LLM open-source de Meta comme un jeu à long terme et les GPT fermés d'OpenAI comme un pari à court terme pour obtenir un avantage de premier plan dans l'espace LLM ?
- Ou s'agit-il simplement de parier de manière opportuniste sur tous les chevaux les plus prometteurs dans la course au leadership de l'IA générative ? Et l'un de ces chevaux est justement un lama.
- Peut-être veulent-ils positionner différemment les offres d'OpenAI et de Meta et pensent-ils qu'il y a des synergies à miser sur les deux.
En dehors de toute spéculation éhontée, la seule vraie réponse est que nous n'en savons rien et vous non plus. Le temps nous le dira.
Conclusion
Meta est arrivé par hasard sur le podium du LLM open-source et a décidé d'y rester.
Ils ont publié LLAMA 2, qui semble très décent, mais la valeur réelle viendra du grand public qui l'utilisera.
Il s'agit d 'un logiciel libre. En d'autres termes, vous pouvez en faire ce que vous voulez (à des fins commerciales ou non), sauf :
- si vous vous appelez Google, Amazon ou Microsoft
- si vous prévoyez de faire quelque chose d'illégal, de contraire à l'éthique ou d'irresponsable. La définition de Meta de ce qui est contraire à l'éthique et irresponsable.