Grands modèles linguistiques
ChatGPT a propulsé les grands modèles linguistiques et l'intelligence artificielle en général sur le devant de la scène dans les médias et les conversations quotidiennes. Beaucoup d'entre nous utilisent déjà ChatGPT de temps en temps dans leur vie quotidienne, quand cela leur convient. Introduire l'utilisation des LLM de manière systématique et contrôlée au sein des entreprises est une autre paire de manches. Cette page fournit une introduction au potentiel impressionnant des LLM et à la manière de les configurer pour qu'ils fassent votre travail.
Comprendre les LLM :
Comment fonctionnent les grands modèles de langage ?
Aujourd'hui, il n'est plus nécessaire de présenter ChatGPT. Les grands modèles linguistiques (LLM), qui sont à la base d'outils tels que ChatGPT, transforment le mode de fonctionnement des entreprises en tirant parti de l'intelligence artificielle pour comprendre à la fois les images et le langage naturel et pour générer des résultats appropriés. Ces modèles ont été pré-entraînés sur des ensembles de données vastes et variés, ce qui leur confère une connaissance du contenu très diversifiée. En outre, ils ont été conçus pour accomplir une tâche simple : prédire le mot suivant le plus probable. La combinaison de ces deux caractéristiques leur permet de traiter un large éventail de tâches, ce qui en fait un exemple réussi de modèles de fondation génératifs.
.jpg)
Qu'est-ce qu'un grand modèle linguistique ?
Les grands modèles de langage sont des systèmes d'intelligence artificielle (IA) avancés qui ont révolutionné le traitement du langage naturel. Ces modèles, tels que le GPT-4 (Generative Pre-trained Transformer 3) d'OpenAI et ses prédécesseurs, sont conçus pour comprendre et générer des textes de type humain, ce qui en fait des outils puissants pour un large éventail d'applications.
LLM les plus utilisés
Malgré l'attention et l'enthousiasme récents suscités par les grands modèles de langage, leur développement n'est pas nouveau dans le domaine de l'IA. OpenAI a présenté le premier modèle GPT en 2018, suivi de GPT-2 en 2019. Même en 2019, ML6 travaillait déjà sur l'exploitation des LLM à des fins professionnelles. Par exemple, nous avons adapté le modèle GPT-2 anglais pré-entraîné au néerlandais. Grâce à la croissance exponentielle des capacités des LLM, ces derniers ont récemment gagné en importance, ce qui a conduit à l'émergence de nombreux nouveaux modèles, avec des versions parfois hebdomadaires.
Parmi les LLM les plus utilisés et qui font actuellement parler d'eux dans le domaine de l'IA, on peut citer
Modèles GPT
Une famille de LLM introduite par OpenAI. Avec les versions récentes de ChatGPT et GPT-4, les modèles GPT ont suscité beaucoup d'intérêt de la part de la communauté de l'IA. Ces modèles ont une licence propriétaire, c'est-à-dire une licence non libre qui exige des utilisateurs qu'ils paient une redevance et impose certaines restrictions d'utilisation.
LLaMA
Une collection open-source de LLMs développée par Meta. LLaMA est conçue pour aider les chercheurs à faire progresser leurs travaux dans le sous-domaine des LLM. Il est disponible en plusieurs tailles, allant de 7 à 65 milliards de paramètres, et vise à démocratiser l'accès aux LLM en nécessitant moins de puissance de calcul et de ressources. LLaMA ne peut être utilisé qu'à des fins de recherche.
PaLM-2
Modèle de langage étendu de nouvelle génération développé par Google. PaLM-2 s'appuie sur les recherches antérieures de Google en matière d'IA et a été annoncé lors de la keynote annuelle I/O en mai 2023. Google a également publié un document présentant Med-PaLM-2, une version affinée sur des données médicales.
Il est important de noter que le domaine des LLM évolue rapidement et que des modèles plus récents et même plus avancés seront peut-être disponibles au moment où vous lirez cet article.
Aligner les MLD et leur architecture sur les résultats souhaités
Bien que les gestionnaires de programmes d'éducation et de formation tout au long de la vie soient capables d'effectuer un large éventail de tâches, il est essentiel de s'assurer que leurs résultats sont conformes aux résultats souhaités.
Il existe trois approches principales pour aligner les résultats du modèle :
1. L'incitation,
2. la génération assistée par récupération (RAG)
3. et le réglage fin plus avancé.
En combinant vos MLD avec les bonnes connaissances (par exemple, des documents spécifiques à votre entreprise) et des modèles qui définissent comment agir dans certains cas (par exemple, en utilisant un système de gestion des demandes), votre solution peut atteindre son plein potentiel.
Prompt à l'action
Une invite est le texte que vous fournissez à un LLM en tant qu'entrée. Les messages-guides peuvent être courts et concis ou étendus et inclure un contexte et des exigences supplémentaires concernant le résultat.
Nous décrivons deux techniques de messages-guides :
- Message-guide sans image : équivalent à "décrire une tâche à un étudiant"
- Message-guide avec peu d'images : équivalent à "décrire une tâche à un étudiant et fournir quelques exemples de tâches similaires et de la manière dont elles ont été effectuées".
Génération assistée par récupération
Une variante plus avancée de l'invite est appelée RAG. En bref, une architecture RAG introduit un composant qui récupère la documentation (pertinente pour la question posée) de votre base de connaissances. En plaçant ce composant "Smart Retriever" devant votre LLM conversationnel, vous imposez à ce LLM de baser sa réponse sur les informations présentes dans votre documentation.
Nous présentons ci-dessus une représentation schématique d'une architecture RAG (Retrieval-Augmented Generation).
Les avantages d'une telle architecture sont que (1) votre LLM peut se référer explicitement aux sources sur lesquelles il a basé sa réponse, (2) votre LLM ne risque pas d'halluciner, car il reçoit le contexte dans lequel il doit rester et (3) votre solution complète reste maintenable car le composant "Smart Retriever" peut être mis à jour au fur et à mesure que votre base de connaissances s'accroît.
Notez que l'architecture RAG est un exemple d'incitation à quelques coups : le LLM est présenté avec un comportement exemplaire de la façon dont il devrait répondre aux questions et, en outre, l'incitation est enrichie avec des informations sur lesquelles il devrait baser sa réponse. Pour plus d'informations, consultez notre article de blog sur l'exploitation des LLM dans votre base de connaissances spécifique à un domaine.
Pour plus d'informations sur cette architecture RAG, nous vous renvoyons à notre article de blog ML6 sur l' utilisation des LLM dans votre base de connaissances spécifique à un domaine.
Comment les grands modèles linguistiques sont formés pour votre cas
Les grands modèles de langue sont capables d'effectuer un large éventail de tâches, dès leur sortie de l'emballage. Cependant, pour qu'ils se comportent exactement comme vous le souhaitez, vous devez envisager les techniques décrites ci-dessus. Cependant, lorsque les messages-guides ou l'approche RAG ne sont pas satisfaisants, des techniques de réglage fin (supplémentaires) peuvent être envisagées. Le réglage fin modifie le LLM lui-même en affectant les poids qui composent son réseau neuronal.)
Afin d'expliquer les choses à un niveau compréhensible, nous représentons le LLM comme un lycéen.
Sans entrer dans les détails techniques, nous tenons à souligner que dans le cas du réglage fin, vous modifiez les capacités réelles du MLD/de l'étudiant. Vous ne vous contentez pas de lui fournir des "exemples ad hoc" comme vous le faites dans le cas de l'incitation à quelques essais. Au lieu de cela, vous présentez à l'étudiant des tâches d'entrée et vous corrigez ses résultats sur la base des résultats "corrects" décrits par votre ensemble de données de réglage fin. On pourrait considérer qu'il s'agit de "faire passer l'étudiant au niveau supérieur" : permettre à l'étudiant de se spécialiser dans le domaine que votre ensemble de données décrit implicitement. L'analogie entre un diplômé de l'enseignement secondaire et un diplômé de l'enseignement supérieur est alors directe.
En conclusion, nous notons que pour de nombreux cas d'entreprise, l'approche "quelques invites" peut suffire pour que votre modèle se comporte de manière appropriée (par exemple, lorsque vous recherchez un LLM conversationnel qui répond sur la base d'informations extraites de votre base de connaissances). Dans d'autres cas, cependant, un comportement spécifique de votre modèle peut nécessiter un réglage fin afin d'améliorer ses performances.
Si vous souhaitez un exemple pratique de la façon dont une structure RAG est construite et incorporée dans des cas d'utilisation, vous pouvez revoir notre webinaire à la demande sur l'IA générative pour l'utilisation en entreprise : Comment démarrer avec LLM.
Applications de modèles linguistiques à grande échelle
Chatbots et assistants virtuels
Les chatbots et les assistants virtuels alimentés par les LLM sont capables de comprendre et de répondre à un large éventail de questions de clients ou d'employés de manière accessible, conversationnelle, multilingue et efficace, améliorant ainsi la satisfaction de vos clients ou la productivité de vos employés. Il est important de noter que ces assistants virtuels peuvent être améliorés en leur fournissant une source spécifique de données (par exemple, la base de connaissances de votre entreprise) afin d'accroître la précision des réponses fournies. Consultez notre article de blog pour plus d'informations.
Moteurs de création de contenu
Les moteurs de création de contenu peuvent générer un contenu écrit de haute qualité, semblable à celui d'un être humain, pour une variété de cas d'utilisation, y compris le contenu marketing, les documents de vente, la génération de contrats, le contenu médiatique ou les traductions, ce qui peut accélérer le processus de création de contenu et permettre la création de variantes de contenu dans différentes langues et de styles d'écriture adaptés à des segments de clientèle ou à des groupes d'employés ayant des préférences et des cultures différentes.
Les différentes approches de la création de contenu comprennent : la génération guidée, le résumé, l'élongation, le re-styling, la traduction, etc.
Interface en langage naturel pour des outils complexes
Il est possible d'apprendre aux LLM à interagir avec les outils existants et à effectuer des tâches basées uniquement sur le langage naturel. En utilisant la vaste capacité sémantique des LLM, on peut leur apprendre à comprendre parfaitement comment parler à un certain outil (par exemple, l'API d'un robot mécanique) et utiliser le LLM pour diriger cet outil comme ils le décrivent en langage naturel.
Interrogation des ensembles de données en langage naturel
Utilisez la puissance du LLM pour analyser et comprendre de vastes ensembles de données et pour partager avec vous les informations clés à l'aide de messages en langage naturel. Dirigez le LLM à l'aide de questions ciblées pour rechercher des informations spécifiques ou demandez au LLM de vous présenter les observations les plus importantes qu'il a lues dans l'ensemble de données. Les LLM sont étonnamment forts dans ce type de tâches d'IA analytique, utilisant leur capacité de génération pour faciliter le dialogue avec l'utilisateur.
Et bien d'autres encore !
Le domaine des grands modèles de langage se développe rapidement, avec de nouvelles solutions et de nouveaux cas d'utilisation émergeant tous les deux jours. En tant que principal fournisseur de services de ML, ML6 s'engage à rester à la pointe de ces développements, en explorant constamment de nouvelles façons d'appliquer les LLM pour résoudre des problèmes commerciaux concrets.
Défis typiques LLM : fonctionnel et technique
Lors de l'élaboration d'une solution de gestion du cycle de vie, il est important de prendre en compte les défis typiques suivants :
Rapidité de la recherche
La recherche et le développement dans le domaine des LLM se déroulent à un rythme rapide, et de nouveaux modèles et fonctionnalités sont constamment mis sur le marché. Se tenir au courant des derniers développements et choisir le modèle le plus approprié pour un cas d'utilisation spécifique peut être accablant et nécessite donc l'expertise nécessaire pour faire les bons choix.
Une IA digne de confiance
Les LLM sont confrontés à des défis éthiques, notamment le risque de partialité et de perpétuation de stéréotypes nuisibles en raison de données d'entraînement biaisées, le risque que les hallucinations de l'IA génèrent un contenu incorrect ou absurde qui pourrait être exploité à des fins malveillantes pour diffuser des informations erronées, et le manque de connaissance des événements ou des faits récents. C'est pourquoi le projet de loi européenne sur l'IA leur accorde une attention particulière.
Interprétabilité et explicabilité
Les LLM ont tendance à être considérés comme des boîtes noires parce qu'il peut être difficile d'interpréter et de comprendre comment ils génèrent leur contenu. Cela peut limiter leur fiabilité et leur responsabilité, en particulier dans des domaines sensibles tels que les soins de santé, les ressources humaines ou la finance. Cette limitation entraîne la nécessité d'avoir une personne dans la boucle de votre solution. Une solution idéale adhère aux lois de l'IA robuste et se comporte donc de manière appropriée, même dans des environnements inattendus ou changeants.
Aperçu de haut niveau des solutions avec les MLD
Les solutions de modèles linguistiques à grande échelle sont disponibles sous différentes formes :
Pour certains cas d'utilisation, l'incorporation d'un LLM existant est tout ce qui est nécessaire.
Pour d'autres cas d'utilisation, il est nécessaire d'affiner un LLM existant.
Mais dans d'autres cas, un modèle linguistique personnalisé formé à partir de zéro peut être la solution.
Les étapes cruciales de l'élaboration d'une solution LLM sont les suivantes :
Choix du modèle de grande langue
Lorsque vous choisissez le LLM adapté à votre cas d'utilisation, vous devez prendre en compte les compromis suivants : modèles open-source (par exemple LLaMA) contre modèles commerciaux (par exemple GPT), auto-hébergement contre accès API, utilisation commerciale autorisée contre utilisation uniquement pour la recherche, ainsi que la performance et la latence du modèle, la tarification et la propriété et la protection des données.
Analyse des coûts et du TCO
Pour éviter les mauvaises surprises, il est essentiel de prendre en compte les dépenses d'investissement initiales et les frais d'exploitation lors de la conception de votre solution. Compte tenu de la manière dont vous envisagez d'utiliser votre solution, certaines options (par exemple, l'utilisation d'une API basée sur un jeton) peuvent ou non être réalisables.
Ingénierie rapide
L'ingénierie des messages-guides consiste à définir, affiner et optimiser un modèle de message-guide afin d'obtenir les résultats les plus précis et les plus pertinents du modèle linguistique. En fournissant des informations supplémentaires, vous pouvez orienter les réponses du modèle dans la direction souhaitée en termes de contenu, de style/tonalité de l'entreprise et de structure.
MLOps/LLMOps/FMOps
Une partie cruciale du travail avec des solutions LLM en production est liée au contrôle de version, à l'ajustement des pipelines, à la permutabilité des modèles, au contrôle des performances, ... Pour amener (et garder !) votre modèle en production, vous devez considérer l'art subtil des MLOps pour les LLMs.
La mise en œuvre d'une boucle de rétroaction de l'utilisateur est inestimable à cet égard. Imaginons une solution générative qui suggère un contenu que les utilisateurs peuvent corriger à leur guise. Nous voudrions savoir exactement ce qui a été modifié et l'introduire dans la boucle pour la réentraîner de manière appropriée au bon moment.
Lisez notre article de blog d'expert approfondi sur les opérations de modèle de fondation ( FMOps) pour mieux comprendre les FMOps, les modèles de fondation et le modèle.
- Développer des systèmes d'IA à l'ère du modèle de fondation : des MLOps aux FMOps [Pt.1]
- Développer des systèmes d'IA à l'ère du modèle de fondation : des MLOps aux FMOps [Pt.2]
Traitement des données
Alors que certains pensent que l'IA est un domaine centré sur les modèles, nous pensons que, en particulier avec l'avènement des modèles de fondation, le domaine devient de plus en plus centré sur les données. La mise en place des processus appropriés pour traiter et stocker les données pertinentes pour votre cas d'utilisation, telles que les données de tiers ou les données internes, joue toujours un rôle crucial.
Prompt Analytics
Lorsque vous travaillez avec des systèmes non déterministes, il est crucial de capturer exactement la façon dont votre solution LLM est utilisée (entrée et sortie). Par exemple, vous pouvez surveiller l'utilisation de votre solution LLM ou même explorer le contenu fourni à la solution, comme les 10 questions les plus demandées dans le contexte d'un chatbot.
Contactez nos experts
Chez ML6, nous avons une grande expérience dans la fourniture de solutions personnalisées qui s'appuient sur les LLM pour résoudre des problèmes commerciaux complexes. Notre équipe d'experts peut travailler avec vous pour construire une solution LLM adaptée à vos besoins, qu'il s'agisse d'automatiser le service client ou d'améliorer la création de contenu. Les LLM changent la donne pour les entreprises qui cherchent à innover et à maintenir leur position concurrentielle dans leur secteur d'activité.
