Comment réfléchir à l'avenir des LLM
.png)
Il y a 6 mois, un soir de décembre, j'étais assis dans ma chambre à Bruxelles et je regardais un écran d'ordinateur. Rien d'extraordinaire pour un ingénieur de quartier comme moi.
Mais à cause de ce que je voyais sur mon écran, j'avais l'impression d'être entré dans Narnia (oui, je sais, je n'ai pas trouvé de meilleure analogie).
Ainsi, des lettres affluaient sur mon écran, formant des mots, formant des phrases, qui m'expliquaient qui avait déclenché le conflit entre Israël et la Palestine.
ChatGPT a ouvert les portes d'un nouveau monde.
3 Des trésors d'informations
J'ai essayé d'imaginer l'avenir de la famille des modèles GPT (transformateurs). Mes premières pensées ont été des extrapolations de sa forme actuelle : des versions améliorées, plus rapides et moins chères de ChatGPT.
Après tout, il avait utilisé tout le texte de l'internet. Ainsi, à défaut d'architectures de modèles entièrement nouvelles, il n'y a pas grand-chose à changer.
Mais l'erreur consiste à penser que tout le texte sur l'internet équivaut à tout le texte dans le monde. En réalité, il ne s'agit que d'une fraction de tout le texte dans le monde. Et une fraction encore plus petite de toutes les informations du monde.
Remarque : je pense que le terme " information " est correct. Le GPT-4 prend déjà en compte les images en plus du langage, et l'objectif est d'entraîner ces modèles sur toutes les modalités de transfert d'informations interprétables par l'homme : audio, vidéo, texte et images (odeur, toucher ?).
Où trouver d'autres sources d'information ?
Au ML6, nous avons commencé à réfléchir à ce que les LLM signifieraient pour les organisations.
Chaque organisation génère des documents, des powerpoints, des courriels, des notes de réunion, des calendriers de produits, des pipelines de vente... qui ne font pas partie du domaine public. (à moins que vous ne soyez Samsung, bien sûr)
En transmettant ces documents à un LLM, les organisations peuvent former un modèle personnalisé.
Si vous avez bien compté, nous disposons donc de deux sources d'information différentes :
- Les informations disponibles au niveau mondial
- Les informations ne sont accessibles qu'à une organisation spécifique
La dernière source d'information pourrait vous donner envie de retourner dans le placard qui servait d'entrée à Narnia.
Et si nous formions des MLD personnels ?
Et si nous formions des MLD personnels ?
(Oui, je suis tellement sûr de moi que je viens de citer ma propre phrase pour que vous ayez à la lire deux fois).
Nous transmettons donc au LLM toutes les informations que vous générez personnellement mais que vous ne voulez partager avec personne d'autre. Messages de chat, notes, courriels... Peut-être même des transcriptions de toutes vos conversations personnelles.
Si vous avez l'impression que c'est un cauchemar, je suis d'accord avec vous. Mais qu'en est-il si aucune personne ou entreprise au monde n'y a accès, à l'exception de vous-même ?
C'est comme si le LLM était une partie de votre propre cerveau. Votre propre cerveau enregistre également de nombreuses informations et en tire des enseignements, et il n'appartient qu'à vous. Imaginez qu'il s'agit d'un petit cerveau de side-car.
Dans ce cas, il vaut la peine d'imaginer les avantages possibles. C'est là que les choses deviennent intéressantes, mais aussi un peu philosophiques.
Nous ne pouvons pas vraiment prédire ce qui se passera si nous avons un "deuxième cerveau". Nous permettra-t-il d'avoir des pensées que nous ne pouvons même pas avoir aujourd'hui ?
Avant que les gens ne sachent écrire et faire des mathématiques, il était beaucoup plus difficile de raisonner. Par exemple, il faut toujours se souvenir de toutes les étapes de l'argumentation. C'est ennuyeux. Il y avait des catégories entières de pensées que nous ne pouvions littéralement pas avoir !
Tout comme l'invention de l'écriture et des mathématiques a permis de nouvelles formes de pensée, un deuxième cerveau pourrait débloquer un nouveau type de raisonnement supérieur.
3 niveaux d'automatisation
Quand on pense à l'IA, on pense à l'automatisation des emplois. C'est exact. Mais voici de quoi vous soulager : il existe trois niveaux différents d'automatisation.
Niveau 1 : automatisation des tâches linguistiques
Un grand modèle de langage est formé pour ... modèle de langage. Cela le rend donc très performant dans l'automatisation de tâches linguistiques telles que : "Résumer un texte", "Extraire des entités nommées du texte", "Changer le ton de la voix pour un pirate" et "Écrire un texte grammaticalement correct sur le conflit entre la Palestine et Israël".
Mais le langage est profondément humain et il décrit et capture une grande partie des interfaces et des interactions du monde qui nous entoure.
Ainsi, maîtriser la langue, c'est aussi maîtriser notre monde.
Cela ressemble un peu à la raison pour laquelle les robots Tesla sont humanoïdes : ils bénéficient gratuitement de l'interopérabilité avec notre monde parce que notre monde est conçu pour les humains. C'est pourquoi un deuxième niveau d'automatisation émerge.
Niveau 2 : utilisation des outils
Grâce au langage de modélisation, un modèle peut également "penser" et rédiger son propre manuel sur la manière d'exécuter une tâche dans le monde. Par exemple, lorsque vous lui demandez de calculer la racine de 2, il "sait", grâce au langage de modélisation, qu'il faut prendre une calculatrice pour y parvenir.
Si vous lui donnez maintenant une calculatrice lorsqu'il le demande, le modèle utilise effectivement des outils. C'est ce que le magasin de plugins ChatGPT est manifestement.
En d'autres termes, le modèle peut utiliser tous les logiciels jamais écrits sur cette planète pour améliorer ses capacités. Et si l'on se souvient que c'est l'utilisation efficace des outils qui a permis à l'homo sapiens de se démarquer des autres primates, il s'agit là d'une caractéristique plutôt intéressante.
Niveau 3 : écrire du code
Le dernier niveau émerge parce que les LLM n'apprennent pas seulement à modéliser le langage humain, mais aussi le langage humain-machine : le code.
Une grande partie de l'automatisation moderne consiste à donner des instructions à des machines sous forme de code. Ces machines exécutent alors ces instructions pour nous, sans notre intervention. C'est ce qu'on appelle l'automatisation.
Mais comme les modèles de langage peuvent également communiquer avec ces machines par l'intermédiaire de leur code, ils constituent un premier pas vers l'automatisation.
Ce qui pourrait se produire, c'est qu'un modèle linguistique écrive du code pour construire un certain logiciel qu'un autre modèle pourrait commencer à utiliser.
Des feuilles de palmier pour accueillir nos messies du LLM ?
Il est évident que ces trois niveaux d'automatisation présentent des défauts. Si ce n'était pas le cas, nous serions dans une sorte de société post-humaine. (A moins que les LLM soient si bons qu'ils nous trompent en se cachant quelque part et en vivant de la graisse de la terre).
Reconnaître ces défauts permet de décider comment exploiter les LLM pour l'automatisation.
Ces défauts témoignent tous d'un problème fondamental de la modélisation statistique : la corrélation n'est pas synonyme de causalité. Le modèle peut modéliser de manière effrayante la corrélation entre les lettres et les phrases, mais ne comprend pas la causalité. Il ne peut donc pas vraiment raisonner. Et il commet des erreurs factuelles et logiques.
Mais apparemment, on peut aller très loin avec les corrélations. Et qui sait jusqu'où on peut aller avec ?
Il y a deux ans, mes collègues du ML6 ont peaufiné un ancêtre du GPT-4 et créé un modèle néerlandais de GPT-2. À l'époque, il était difficile d'imaginer que nous irions aussi loin avec essentiellement la même technique.
Conclusion
Nous avons décomposé les LLM selon deux axes :
- 3 trésors d'informations
- 3 niveaux d'automatisation
Si vous combinez les éléments des deux axes, vous pouvez arriver à des prédictions plausibles pour l'avenir. Par exemple, ce que nous (allons) voir est
des LLM personnels utilisant l'automatisation de niveau 2 pour être votre assistant.
Il utilisera des outils logiciels pour faire ce que vous demandez et plus encore.
Ce que je n'ai pas abordé, c'est l'énorme vulnérabilité d'un grand nombre de ces futures applications. C'est littéralement un terrain de jeu pour les pirates.
Dans le prochain billet, Jacob Cassiman dévoilera certaines de ces vulnérabilités. C'est alors que les choses sérieuses commenceront. (Ce billet est également disponible sur la plateforme Medium)