LLM : c'est quoi un grand modèle de langage ?

Un LLM (de l'anglais large language model, « grand modèle de langage ») est un programme d'intelligence artificielle entraîné sur d'immenses volumes de texte pour prédire la suite la plus probable d'un texte. C'est le moteur des assistants qui rédigent, résument, traduisent ou répondent à des questions.

Le Journal officiel du 06/09/2024 recommande « grand modèle de langage » (abrégé GML) et le définit comme un modèle génératif qui, à partir de grands volumes de données textuelles, « calcule des probabilités des enchaînements de jetons textuels » pour produire du texte ou du code informatique.

Une image du quotidien

Vous connaissez la saisie prédictive de votre téléphone, qui propose le mot suivant quand vous écrivez un message. Un LLM fait la même chose, mais à une tout autre échelle : il a « lu » une quantité de textes considérable et sait prolonger non seulement un mot, mais une lettre entière, une réponse argumentée ou un tableau, en tenant compte de la consigne donnée.

Pourquoi « grand » ?

La Commission nationale de l'informatique et des libertés (CNIL) précise qu'un modèle de langage est un modèle statistique de la façon dont les mots (ou les lettres, les sons) s'enchaînent dans une langue. On parle de « grand » modèle quand il comporte un très grand nombre de paramètres, « généralement de l'ordre du milliard » selon la CNIL, qui cite GPT-3, BLOOM, Llama ou PaLM comme exemples.

Comment il devient un assistant

La documentation d'Anthropic, éditeur du modèle Claude, décrit deux étapes :

1. Le pré-entraînement : le modèle apprend à prédire le mot suivant sur un grand corpus de textes. À ce stade, il n'est pas encore bon pour suivre des consignes.
2. L'ajustement : on le réentraîne (fine-tuning) et on l'oriente avec des retours humains pour qu'il se comporte en assistant utile.

Un exemple concret

Prenons une secrétaire de cabinet qui doit résumer un compte rendu de réunion de quatre pages. Elle le colle dans un assistant fondé sur un LLM et demande « les décisions prises et qui fait quoi, en cinq lignes ». Le modèle produit le résumé en quelques secondes. Il ne « sait » pas ce qui s'est passé dans la réunion : il travaille uniquement sur le texte fourni et sur ce qu'il a appris de la langue.

Ce que ça change pour une entreprise

• Un LLM est fort pour reformuler, résumer, rédiger, classer du texte.
• Il peut se tromper avec aplomb : c'est l'hallucination.
• Son usage se compte en tokens, ce qui détermine le coût des offres payantes à l'usage.
• Il ne connaît pas vos dossiers internes : pour qu'il réponde à partir de vos documents, il faut les lui fournir, par exemple avec un RAG (génération augmentée par récupération).

Termes voisins

• Transformer : l'architecture sur laquelle reposent les LLM.
• Fenêtre de contexte : la quantité de texte qu'il peut prendre en compte d'un coup.
• Prompt : la consigne que vous lui donnez.
• IA générative : la famille à laquelle il appartient.