ChatGPT & GPT-4 : gadgets ou changements de jeu ?

La puissance et les pièges des grands modèles linguistiques

‍

Le domaine de l'intelligence artificielle est synonyme de croissance exponentielle depuis 10 ans.
Pour qu'une innovation se démarque dans ce domaine, où les perturbations sont monnaie courante, elle doit être tout simplement spectaculaire. Et c'est exactement ainsi que l'on peut décrire les progrès récents en matière de compréhension et de génération de langage grâce à des innovations telles que ChatGPT et GPT-4.

‍

‍

Tout cela est impressionnant mais soulève une question simple : qu'est-ce que vous y gagnez ?

Dans ce qui suit, nous tenterons de répondre précisément à cette question en examinant le potentiel perturbateur de ces technologies. Nous explorerons également les limites de ces modèles et nous nous concentrerons sur la manière dont nous pouvons surmonter ces défis. Parce qu'après tout :

‍

‍

"Le pessimiste voit la difficulté dans chaque opportunité.
L'optimiste voit l'opportunité dans chaque difficulté.

‍

Pourquoi maintenant ?

ChatGPT et GPT-4 ont pris d'assaut le monde du traitement du langage naturel. Les enthousiastes y voient l'aube d'une IA de niveau humain, les chercheurs n'y voient rien de spécial et les sceptiques y voient une raison de commencer à stocker du papier hygiénique.

Avant d'explorer la manière dont nous pouvons tirer parti de ces percées pour acquérir un avantage stratégique, examinons les raisons pour lesquelles nous constatons ces progrès.

Beaucoup seront surpris d'apprendre que le principe de fonctionnement de ChatGPT et GPT-4, appelé "transformateur", existe depuis 2017.
Comme le suggère le "4" dans GPT-4, ce que nous voyons aujourd'hui n'est pas tant un changement radical dans la façon de générer du texte que l'aboutissement de 6 années d'améliorations incrémentales de la même méthode.

Comme l'a dit Steve Jobs :

"Si l'on y regarde de plus près, la plupart des réussites du jour au lendemain ont pris beaucoup de temps.

Cela dit, la question se pose toujours de savoir pourquoi maintenant ?

La réponse à cette question est triple :

‍
👉 Bigger and better
👉 Incorporating human feedback with RLHF
👉 People can't buy what they don't know (Les gens ne peuvent pas acheter ce qu'ils ne connaissent pas)

‍

‍

Plus grand et meilleur

Pour comprendre le langage naturel, il faut tenir compte d'un grand nombre de nuances subtiles. Si l'on en croit le décompte des paramètres du GPT-4, il s'agit de 100 000 milliards de ces nuances.

Plus un modèle est grand, plus il a la capacité de comprendre des nuances de plus en plus fines. Les ressources informatiques toujours croissantes et les données disponibles sur l'internet nous permettent d'exploiter cette capacité.

C'est un secret bien connu dans le domaine de l'IA que le même modèle, mais plus grand, est inévitablement meilleur. ChatGPT et surtout GPT-4 sont beaucoup plus grands que leurs prédécesseurs, ce qui a considérablement augmenté leurs performances.

Cette tendance a toutefois ses limites. L'augmentation de la capacité n'apportera aucune valeur ajoutée une fois que nous aurons atteint un nombre suffisant de paramètres pour saisir les nuances les plus fines du langage humain. Il va sans dire que cette limite n'est pas encore en vue.

‍

‍

Incorporer le retour d'information humain à la RLHF

La plus grande différence entre ChatGPT & GPT-4 et leurs prédécesseurs est qu'ils intègrent le feedback humain. La méthode utilisée à cet effet est l'apprentissage par renforcement à partir du feedback humain (Reinforcement Learning from Human Feedback - RLHF).

Il s'agit essentiellement d'un cycle d'amélioration continue. Le système génère un texte ; l'utilisateur donne un retour d'information implicite ou explicite sur ce qu'il pourrait améliorer (par exemple, donner une réponse plus détaillée) ; le système utilise ces informations pour s'améliorer.

‍

‍

L'idée de la RLHF est également présente depuis 2017. 2017 a été une excellente année pour les percées de 2023. Elle n'a pas été largement utilisée jusqu'à récemment parce que la collecte de commentaires humains a toujours été considérée comme un goulot d'étranglement à l'ère du big data. Après tout, un ordinateur peut parcourir une grande partie de l'internet en quelques jours, alors que nous, les humains, sommes distraits après avoir lu la moitié d'un article.

Le seul moyen d'exploiter réellement la RLHF à grande échelle serait que ChatGPT et GPT-4 disposent d'une base d'utilisateurs massive qui fournisse un retour d'information constant.

Il semble que c'est là que vous et moi intervenons.

‍

Les gens ne peuvent pas acheter ce qu'ils ne connaissent pas

Si la montée en puissance du ChatGPT a pu paraître inattendue pour beaucoup, la communauté de la PNL a fait d'énormes progrès au cours des dernières années, dont beaucoup auraient pu susciter un intérêt similaire de la part du grand public.

Jusqu'à présent, cependant, ces avancées n'ont jamais pu susciter une véritable prise de conscience au sein du grand public. Pour reprendre les mots de Warren Buffett, "si vous ne pouvez pas communiquer, c'est comme faire un clin d'œil à une fille dans l'obscurité : rien ne se passe".

Ce qu'OpenAI a fait de façon magistrale, c'est (i) présenter sa technologie dans une application accessible et intuitive et (ii) sensibiliser le grand public à ce qu'elle fait.

En partie pour accroître l'adoption de l'IA dans des cas d'utilisation importants et se positionner en tant que précurseur dans ce processus.
En partie pour faire tourner la roue d'inertie de la RLHF et rendre leurs produits de plus en plus performants.

‍

‍

Le pouvoir de l'IA

Alors que les modèles d'IA étaient auparavant destinés à résoudre des problèmes ciblés, nous voyons aujourd'hui apparaître des systèmes d'IA larges et polyvalents dont les capacités vont de la création littéraire à la programmation informatique.
Nous passons d'un grand nombre d'outils individuels dans notre ceinture d'outils d'IA à quelques couteaux suisses de l'IA.

Ce nouveau paradigme ouvre une pléthore de possibilités pour obtenir un avantage concurrentiel. Même si la sortie de ChatGPT et GPT-4 est à peine dans le rétroviseur, nous pouvons déjà voir les premiers à adopter ces technologies et à tirer parti de leur potentiel perturbateur pour se positionner à l'avant-garde de leurs industries respectives.

Voici quelques exemples concrets :

• Assistance à la clientèle: Intercom utilise ChatGPT comme aide à la rédaction pour les opérateurs de support afin d'accélérer et d'améliorer le processus de support client(lien). Bientôt, elle lancera son chatbot Fin(lien) construit sur GPT-4 qui lui permettra de fournir une solution rapide et qualitative à un problème majeur rencontré par de nombreuses entreprises.
  ‍
• Éducation: Duolingo vise à révolutionner le processus d'apprentissage des langues en proposant sa nouvelle application Duolingo Max(lien). Elle s'appuie sur les capacités (multi)linguistiques du GPT-4 pour offrir une plateforme d'apprentissage hautement personnalisée et évolutive, qui est au cœur de leur stratégie.
  ‍
• Technologie: Whimsical a intégré le potentiel créatif des grands modèles linguistiques dans ses cartes heuristiques(lien). Elles offrent une expérience créative et collaborative à leurs utilisateurs, facilitant et accélérant considérablement le processus de brainstorming.

Au-delà des cas d'utilisation actuels, nous prévoyons que ChatGPT et GPT-4 auront un impact important sur la découverte des connaissances.

Nous nous attendons à ce que les entreprises et les gouvernements créent une couche de questions-réponses au-dessus de leurs données internes pour permettre la récupération intuitive des connaissances présentes dans l'organisation.

En particulier, nous prévoyons un impact particulièrement important dans les secteurs fondés sur la connaissance, tels que les services juridiques, les médias et les administrations publiques.

Pour illustrer ce propos par quelques exemples, on peut dire que cela peut :

• Permettre aux cabinets juridiques d'utiliser les connaissances accumulées dans les décisions et les affaires antérieures pour prendre les décisions les plus éclairées à l'avenir.
• Permettre aux entreprises de médias de donner à leurs utilisateurs les informations concrètes qu'ils recherchent dans leur couverture médiatique, créant ainsi une expérience utilisateur plus attrayante et personnalisée.
• Permettre aux gouvernements de transformer leur législation de documents archivés archaïques en une base de connaissances interactive que le grand public peut interroger pour rester informé.

‍

Le ciel est-il la limite ?

Pour bien comprendre les limites de technologies telles que ChatGPT, il est important de comprendre leur principe de fonctionnement de haut niveau.

Winston Churchill a dit un jour : "des complexités intenses émergent des simplicités intenses".
Dans le cas du ChatGPT et du GPT-4, c'est tout le contraire : "d'une grande simplicité émerge une grande complexité".

Beaucoup seront surpris d'apprendre que tous les systèmes modernes de génération de texte fonctionnent sur la base d'un principe très simple. Ce sont tous des systèmes qui prédisent le mot suivant dans une phrase. Rien de plus, rien de moins.

Ils commencent à enchaîner les mots les uns après les autres dans le but de construire la séquence de mots la plus probable d'un point de vue statistique, compte tenu de l'invitation initiale.

Chez ML6, nous aimons visualiser ce processus comme une marche aléatoire de mots.

Cela implique que les technologies comme ChatGPT ne raisonnent jamais véritablement sur le message qu'elles veulent transmettre. Cette absence de raisonnement explicite entraîne des limitations en termes de fiabilité, de contrôlabilité et d'éthique.

Des efforts considérables sont déployés pour mettre en place des garde-fous autour de ce que ces systèmes peuvent produire afin de contourner ce problème fondamental. Une autre voie prometteuse consiste à relier les informations générées aux sources afin de permettre une vérification pratique des faits.

Néanmoins, il est important de garder à l'esprit que ces remèdes, bien qu'assez efficaces, restent des solutions symptomatiques qui visent à remédier à une limitation fondamentale.

À long terme, nous pensons qu'il nous manque encore un changement de paradigme pour disposer de grands modèles linguistiques fondamentalement dignes de confiance et fiables ; un paradigme dans lequel la langue est considérée comme plus qu'une séquence de mots statistiquement probable et où le texte est généré à partir d'une idée préconçue.

En outre, la dépendance actuelle à l'égard d'OpenAI (et de Microsoft) ne doit pas être sous-estimée. Même si nous pensons que des alternatives open-source aux services d'OpenAI apparaîtront inévitablement, nous devons être conscients des nouvelles barrières à l'entrée à l'ère des grands modèles linguistiques.
D'une part, les initiatives open-source seront confrontées à la nécessité de disposer de plus de ressources informatiques afin d'entraîner des modèles de taille comparable à ChatGPT et GPT-4.
D'autre part, le manque d'accès aux commentaires humains qu'OpenAI a accumulés au fil du temps constituera un défi pour approcher des performances comparables.

‍

Qu'est-ce que vous y gagnez ?

En conclusion, les technologies telles que ChatGPT et GPT-4 sont là pour durer.

• Il y aura des entreprises qui percevront cela comme une menace à combattre et qui resteront inévitablement bloquées dans le statu quo.
• Il y aura des entreprises qui percevront cette opportunité et qui prendront un avantage stratégique sur leurs concurrents. Les premières se manifestent déjà.

Nous pensons que les entreprises qui :

‍
(i) Reconnaître à la fois la puissance et les limites des grands modèles linguistiques et
(ii) Intégrer ces technologies dans leur cœur de métier.

‍
parviendra à s'imposer comme leader dans un paysage numérique en constante évolution.

‍

‍

‍

Nous vous laissons avec une dernière citation (promise) du PDG de Disney, Bob Iger :

La chose la plus risquée que nous puissions faire est de maintenir le statu quo

‍

‍