Naviguer dans les considérations éthiques : Développer et déployer de grands modèles linguistiques (LLM) de manière responsable

Les grands modèles de langage (LLM) prennent le monde d'assaut. Une avalanche de cas d'utilisation est débloquée chaque jour, et il n'y a aucun signe de ralentissement. Diverses industries, y compris celles que l'on croyait "à l'abri" de l'automatisation, voient leur cœur de métier changer à une vitesse vertigineuse.

En tant qu'ingénieurs en apprentissage automatique, nous nous trouvons à l'avant-garde du développement et du déploiement de ces modèles qui ont le potentiel de transformer de nombreuses industries. Bien que ces avancées offrent des possibilités passionnantes, il est essentiel d'aborder les considérations et les implications éthiques qui découlent de leur développement et de leur déploiement.

Dans cet article de blog, nous souhaitons faire la lumière sur les principales considérations éthiques et fournir des conseils pratiques à nos collègues développeurs et à nos clients, afin de garantir un développement responsable du MLD.

La puissance des modèles linguistiques

Les grands modèles de langage, tels que GPT-4 d'OpenAI, représentent une avancée significative dans la technologie de l'intelligence artificielle, démontrant une puissante capacité à générer et à comprendre des textes semblables à ceux des humains. Ces modèles sont capables de rédiger une prose convaincante, de répondre à des questions, de traduire des langues, de donner des cours particuliers sur des sujets variés et même d'écrire du code informatique. À l'heure où nous entrons de plain-pied dans l'ère de l'IA, le pouvoir de ces modèles est considérable. Ils peuvent démocratiser l'information en donnant accès à la connaissance et aux outils d'apprentissage à toute personne disposant d'un accès à l'internet et ont le potentiel de révolutionner les industries, des soins de santé à l'éducation. Cependant, ce pouvoir n'est pas sans complexité. Si ces modèles peuvent être à l'origine d'innovations incroyables et d'avantages sociétaux, ils soulèvent également des considérations éthiques essentielles qu'il convient de prendre en compte pour s'assurer que leur déploiement n'entraîne pas de conséquences négatives involontaires. Avec l'essor des LLM et des modèles de fondation (FM), nous devons de plus en plus consacrer de l'énergie à l'alignement des modèles et à leur contrôle.

Dans cet article de blog, nous nous concentrerons sur trois aspects clés sous lesquels la plupart des considérations éthiques peuvent être classées :

Toxicité

Certains LLM sont censés être formés sur "l'ensemble de l'internet". Bien que cette étendue de données puisse améliorer les capacités du modèle et soit la raison pour laquelle il est si bon pour comprendre et produire du langage humain, elle comprend également des données que nous préférons ne pas voir reflétées dans les résultats de notre modèle. Il s'agit notamment du langage ou du contenu préjudiciable ou discriminatoire, en particulier à l'égard des groupes marginalisés ou protégés.

Pour contrer ce phénomène, il est essentiel de conserver soigneusement les données d'entraînement (et de mise au point) tout en garantissant la diversité et la représentativité de l'ensemble des données. Nous devons veiller à ce que l'ensemble de données soit à la fois diversifié et représentatif, tout en étant dépourvu de contenu préjudiciable. Il ne s'agit pas seulement de supprimer les contenus offensants, mais de promouvoir l'inclusivité et l'équité dans les réponses de l'IA.

Modèles de garde-corps

Une étape supplémentaire consiste à former un modèle "garde-fou" qui détecte et filtre tout contenu inapproprié dans les données de formation ou les données produites. Ce modèle est formé sur des exemples d'échantillons appropriés et inappropriés. L'objectif est que le modèle apprenne à faire la distinction entre un contenu acceptable et un contenu inacceptable. Une fois entraîné, ce modèle est utilisé pour filtrer les données d'entraînement ou de mise au point, ou bien il est intégré au LLM primaire. Chaque fois que le LLM primaire génère une sortie, celle-ci passe également par le modèle garde-fou. Ce dernier signale alors la sortie pour examen, la bloque ou guide le modèle primaire pour qu'il la modifie.

Apprentissage par renforcement avec retour d'information humain (RLHF)

Les humains peuvent également être impliqués dans l'étiquetage des données afin d'éviter les contenus toxiques ou nuisibles et d'encourager l'accomplissement utile d'une tâche. Pour ce faire, des annotateurs humains évaluent plusieurs compléments de votre LLM pour une invite à la fois. Ces données sont ensuite utilisées pour former un modèle de récompense qui prend en charge la tâche d'évaluation de l'humain et transmet les scores à un modèle d'apprentissage par renforcement pour mettre à jour les poids du LLM.

Lorsque les données doivent être annotées pour la formation du LLM ou d'un modèle de récompense, assurez-vous de fournir à vos annotateurs suffisamment d'indications sur la manière d'étiqueter certaines données. En outre, la sélection d'un groupe diversifié d'annotateurs permet d'éviter les biais potentiels et contribue à un modèle plus équilibré et représentatif.

Une conception rapide et soignée

Enfin, la prudence dans la conception de l'invite peut contribuer à atténuer la toxicité. Au lieu de :

"Expliquez pourquoi les personnes qui aiment l'ananas sur les pizzas ont mauvais goût.

qui suppose un stéréotype négatif et pourrait perpétuer des attitudes de division, vous pourriez demander :

"Discutez des différentes perspectives mondiales sur le thème de l'ananas comme garniture de pizza, en veillant à représenter tous les points de vue de manière respectueuse et impartiale".

fixer des limites claires pour une conversation respectueuse.

Nous avons précédemment développé des démonstrations pour détecter la toxicité, les blasphèmes et les discours haineux dans des textes courts pour l'allemand et le néerlandais.

Hallucinations

Ce qui, dans des circonstances totalement différentes, pourrait être le résultat d'une toxicité, est considéré comme la production de fausses informations ou de "fake news" dans le contexte des LLM.

L'une des explications est que, bien souvent, nous ne savons pas quel modèle apprend réellement lorsqu'on lui présente un certain ensemble de données. Par conséquent, le modèle tentera de combler les lacunes dans les données manquantes.

Utilisation des paramètres LLM

De nombreux modèles permettent d'ajuster les paramètres. Les plus courants, qui influencent la "liberté créative" du modèle (et donc indirectement son hallucination), sont la température, top_p et top_k. Plus votre cas d'utilisation est factuel, plus vous devez être strict avec ces paramètres :

• Si la température est fixée à 0, le modèle est déterministe. Plus la valeur de la température est élevée, plus la sortie est diversifiée et aléatoire.
• top_p limite les résultats du modèle aux p % supérieurs combinés de la distribution de probabilité.
• top_k limite les résultats du modèle aux k tokens les plus probables de la distribution de probabilité.

Avec tous ces paramètres réglés sur des valeurs faibles, un LLM pourrait produire quelque chose comme

"Le chat est assis sur le balcon et miaule après les pigeons.

En expérimentant avec ces paramètres, la même invite pourrait donner quelque chose comme ceci :

"Le chat est assis sur la lune et miaule contre les étoiles."

Choisissez donc judicieusement vos paramètres.

Vérification des sources et RAG

Another way to limit hallucination is augmenting the LLM with independent and verified sources to cross-verify the data returned by the model. This can be triggered by prompting the LLM to state its source each time it claims to produce a response with facts (e.g. “refer to the source of the information you provide in your response” or “only answer if you can refer to the source of the information you provide. If you can’t answer the question, say < … >”). This can help users ascertain the reliability of the information.

Pour aller plus loin, on peut utiliser la génération augmentée par la recherche (RAG) qui ajoute une base de connaissances à votre LLM. Nous renvoyons à un autre article de blog expliquant son concept et sa mise en œuvre.

Vous pouvez combiner la vérification à la source et le RAG pour obtenir des résultats encore meilleurs.

Une conception rapide et soignée

Il s'agit là d'un autre moyen efficace d'éviter les hallucinations et d'orienter le LLM vers des réponses plus utiles. Par conséquent, donnez un contexte clair et créez des messages-guides aussi spécifiques que possible, en évitant toute ambiguïté. Au lieu de :

"Décrivez la fameuse loi internationale adoptée en 2020 interdisant l'ananas sur les pizzas".

ce qui fait de ce message une source potentielle de désinformation, pourrait-on se demander :

Pourriez-vous nous donner un aperçu des origines et de l'opinion populaire concernant la "pizza hawaïenne", qui comprend de l'ananas comme garniture, sur la base des informations disponibles jusqu'en 2021 ?"

qui demande des informations factuelles dans un délai précis, réduisant ainsi le risque que le modèle génère des informations fictives ou spéculatives. En outre, vous pouvez concevoir vos messages-guides de manière à décrire le rôle du MLD (par exemple : "Vous êtes un agent du service clientèle...").

Transparence vis-à-vis des utilisateurs finaux

Une autre étape simple, mais importante en termes d'explicabilité, est la transparence avec les utilisateurs finaux. Faites-leur savoir qu'ils ont affaire à un système d'intelligence artificielle et que la réalité de cette technologie est qu'elle peut produire des réponses erronées. Si un LLM est utilisé pour un cas d'utilisation non prévu, le risque d'hallucination est plus élevé. L'ajout d'avertissements permet non seulement d'améliorer la compréhension de l'utilisateur, mais aussi de fixer des attentes réalistes quant à la fiabilité du système d'intelligence artificielle.

Aspects juridiques

Lors de la formation ou de la mise au point de votre LLM, vous devez vous assurer de ne pas rencontrer de problèmes de droits d'auteur ou de protection concernant vos données et votre modèle.

Protection des données

D'un point de vue juridique, vous devez savoir où votre modèle et vos données sont hébergés afin de vous conformer aux réglementations relatives à la protection des données et de la vie privée. Il s'agit par exemple de ne pas stocker ou utiliser des données personnelles sans base légale et de respecter, entre autres, les principes généraux de (i) minimisation des données, (ii) limitation de la finalité, (iii) limitation du stockage, (iv) exactitude, (v) équité et transparence et (vi) intégrité et confidentialité.

Propriété intellectuelle

La question de la propriété intellectuelle fait actuellement l'objet d'un vaste débat en raison des poursuites judiciaires engagées aux États-Unis à l'encontre de diverses entreprises formant des diplômés en droit. Ces derniers apprennent à partir de grandes quantités de données et ingèrent souvent des documents protégés par le droit d'auteur, tels que des livres, des articles ou du contenu web, au cours de leur phase de formation. Un LLM enfreint-il désormais la propriété intellectuelle lorsque des œuvres protégées par le droit d'auteur sont utilisées pour la formation ou la mise au point, ou lorsqu'il génère du texte à partir d'une source protégée par le droit d'auteur ?

Il sera très intéressant de voir comment les juges des différentes juridictions traitent cette question.

Au moment où nous écrivons ces lignes, nous cherchons une solution à ce débat, en établissant un cadre qui facilite la collecte et le prétraitement des données d'images pour les modèles de fondation. Ce cadre s'appuie sur des images sous licence Creative Common (CC) pour créer des ensembles de données libres d'utilisation pour la génération d'images avec l'IA. Nous avons précédemment publié un autre article de blog sur la génération d'images sans violation du droit d'auteur.

Loi européenne sur l'IA

La loi européenne sur l'IA est prévue pour réglementer le développement et le déploiement des modèles de fondation et donc des LLM. Cela inclut (mais n'est pas limité à) :

• Données: Description des sources de données et résumé des données protégées par le droit d'auteur utilisées pour former le modèle de base. Les données utilisées sont soumises à des mesures de gouvernance des données (adéquation, biais, atténuation appropriée).
• Calcul: Divulgation de la taille du modèle, de la puissance de calcul et du temps de formation pour la formation du modèle. La consommation d'énergie pour la formation doit être mesurée et des mesures doivent être prises pour réduire la consommation.
• Le modèle: Les capacités et les limites du modèle doivent être décrites, ainsi que les risques prévisibles et les mesures d'atténuation associées. Tout risque non atténué doit être justifié. Le modèle doit être étalonné sur la base de critères de référence publics/industriels et les résultats des tests internes et externes doivent être communiqués.
• Déploiement: Divulgation du contenu généré par un modèle. Les États membres de l'UE dans lesquels le modèle de base est commercialisé doivent être indiqués. La conformité technique pour la conformité en aval avec la loi européenne sur l'IA doit être fournie.

Conclusion

Même après avoir suivi toutes ces étapes et construit le système d'IA le plus responsable possible, le processus n'est pas terminé (et ne le sera jamais vraiment). La création de systèmes d'IA est un cycle itératif continu dans lequel nous voulons mettre en œuvre la responsabilité dans les phases de conception et de déploiement. Le suivi et la mise à jour des modèles sont importants pour traiter les modèles toxiques émergents, les tendances ou les nouvelles utilisations abusives. Tout cela doit être complété par des politiques de gouvernance et des mesures de responsabilisation pour toutes les parties prenantes impliquées tout au long du cycle de vie.

La mise en place d'un système d'IA responsable est une tâche à multiples facettes qui exige une approche proactive, une planification minutieuse et un engagement permanent. Mais le résultat - un système fiable et convivial qui respecte et protège les intérêts des utilisateurs et les valeurs de la société - en vaut la peine.

Le développement et le déploiement des systèmes d'intelligence artificielle représentent une avancée technologique significative. Toutefois, ce progrès s'accompagne de la responsabilité de veiller à ce que l'utilisation de cette technologie soit conforme à l'éthique et respecte les droits et les valeurs de toutes les parties prenantes. En comprenant et en prenant en compte les considérations éthiques en jeu, nous pouvons exploiter tout le potentiel de l'IA tout en minimisant les risques et les dommages qui y sont associés.

Merci de m'avoir suivi jusqu'à la fin ! J'espère que ce billet vous a été utile. Si vous souhaitez en savoir plus sur les LLM de mes merveilleux collègues, c'est par ici :

Autres ressources :

• État de l'apprentissage tout au long de la vie
• Adaptation de faible rang : Un approfondissement technique
• La nouvelle offre de Google en matière d'IA générative
• ChatGPT & GPT-4 : Des gadgets ou des changements ?

‍