Quelle différence entre entraînement et inférence ?

L'entraînement fabrique le modèle à partir de données. L'inférence, c'est l'utilisation de ce modèle déjà construit pour répondre à une nouvelle demande.

Le modèle apprend-il pendant l'inférence ?

En général non : il applique ce qu'il a appris. La CNIL décrit toutefois l'apprentissage continu, où l'apprentissage se poursuit pendant la mise en service du modèle.

Inférence en IA : définition simple

L'inférence est la phase où un modèle d'intelligence artificielle, déjà entraîné, est utilisé pour produire un résultat à partir d'une nouvelle demande : répondre à une question, classer un document, transcrire un enregistrement. C'est le modèle « au travail », par opposition au modèle « en formation ».

La Commission nationale de l'informatique et des libertés (CNIL) décrit les deux temps : l'entraînement est le processus par lequel le système élabore un modèle à partir de données, puis, « une fois l'apprentissage réalisé, le modèle pourra ensuite être déployé en production ». L'inférence, c'est ce qui se passe en production, à chaque utilisation.

Une image du quotidien

Un apprenti boulanger passe des années à apprendre : c'est l'entraînement, long et coûteux. Une fois formé, chaque matin, il fait le pain : c'est l'inférence. Il ne réapprend pas son métier à chaque fournée ; il applique ce qu'il sait, rapidement, autant de fois qu'il le faut.

Entraînement et inférence côte à côte

	Entraînement	Inférence
Quand ?	Avant la mise en service, une fois ou de temps en temps	À chaque demande d'un utilisateur
Ce qui se passe	Le modèle ajuste ses paramètres à partir de données	Le modèle applique ses paramètres à une nouvelle demande
Qui le fait ?	L'éditeur du modèle, le plus souvent	Vous, chaque fois que vous utilisez l'outil

Il existe une exception : la CNIL décrit l'« apprentissage continu », où le système continue d'apprendre pendant sa mise en service. Hors de ce cas, pendant l'inférence, le modèle applique ce qu'il a appris sans modifier ses réglages.

Le Journal officiel du 06/09/2024 fait la même distinction pour les jetons textuels, utilisés « aussi bien dans la phase d'apprentissage automatique que dans la phase de traitement d'une instruction générative ».

Un exemple concret

Prenons un cabinet comptable qui utilise un assistant pour résumer les courriers reçus. Le modèle a été entraîné une fois pour toutes par son éditeur. Chaque fois qu'un collaborateur colle un courrier et demande un résumé, une inférence a lieu sur les serveurs de l'éditeur (ou sur le serveur du cabinet, si le modèle y est installé). Cent courriers résumés, ce sont cent inférences.

Ce que ça change pour une entreprise

C'est l'inférence que vous payez dans la plupart des offres à l'usage : le Journal officiel note que le nombre de jetons traités permet d'estimer et de facturer le coût de fonctionnement des grands modèles de langage commerciaux.
C'est elle qui fixe le délai de réponse : la documentation d'Anthropic rappelle que la latence dépend notamment de la taille du modèle, du matériel, du réseau et de la complexité de la demande.
C'est là que partent vos données : ce que vous envoyez au modèle est traité là où tourne l'inférence. Savoir où se trouvent ces serveurs fait partie des bonnes questions à poser.

Termes voisins

Apprentissage automatique : la phase d'entraînement qui précède.
Token : l'unité de mesure de l'inférence.
Modèle open source : un modèle que l'on peut faire tourner sur ses propres serveurs.
API : la porte par laquelle on déclenche une inférence chez un éditeur.