Définition
Token en IA : signification simple du jeton
Un token (jeton) est le petit morceau de texte qu'un modèle d'IA lit et produit. Il sert aussi à compter et facturer l'usage. Explication simple.
Mis à jour le
Un token, ou « jeton » en français, est la plus petite unité de texte qu'un modèle de langage manipule : un mot, un morceau de mot, un signe de ponctuation. Avant de lire votre texte, le modèle le découpe en jetons ; quand il répond, il produit sa réponse jeton après jeton.
Le Journal officiel du 06/09/2024 recommande « jeton textuel » et le définit comme la « donnée élémentaire d'un grand modèle de langage », constituée d'une suite de caractères obtenue par la segmentation automatique d'un texte.
Une image du quotidien
Pensez aux briques d'un jeu de construction. Le modèle ne voit pas votre phrase comme un bloc, mais comme une rangée de briques de tailles variables : les mots courants forment souvent une seule brique, un mot rare ou un nom propre est découpé en plusieurs. Pour lui, écrire une réponse, c'est poser une brique après l'autre, selon les probabilités calculées et les réglages de génération.
Combien de texte dans un jeton ?
Il n'y a pas de règle fixe. La documentation d'Anthropic, éditeur de Claude, indique qu'un jeton peut correspondre à un mot, une partie de mot, un caractère ou même un octet, et que le nombre de caractères par jeton dépend du modèle et de la langue. Elle précise que sur ses modèles antérieurs à Claude 4.7, un jeton représente environ 3,5 caractères d'anglais, et que les modèles plus récents produisent environ 30 % de jetons de plus pour le même texte (documentation lue le 16/11/2026). Pour Claude, le glossaire recommande l’outil de comptage avec le modèle prévu. Vérifiez le moyen de comptage proposé pour votre service.
Un exemple concret
Prenons une petite entreprise fictive qui envisage un assistant facturé à l'usage. Le devis de l'éditeur parle en « millions de jetons » d'entrée et de sortie. Pour l'estimer, elle compte ce qu'elle enverrait au modèle (les questions, plus les documents joints) et ce qu'il renverrait (les réponses). Un long contrat joint à chaque question pèse bien plus lourd qu'une simple phrase.
Lors d’un échange sur le budget, apportez une demande fictive complète et son comptage, plutôt qu’un nombre de pages. Précisez le modèle choisi et ce qui a été inclus : consigne, pièces et réponse. Un audit du besoin et du volume de travail peut préparer les hypothèses d’un budget à vérifier. Dans le cercle, un devis en jetons pourrait ainsi être discuté à partir d’un volume observé, sans exposer le contrat réel utilisé au travail.
Pour discuter des hypothèses de comptage, vous pouvez proposer un échange au cercle à partir d’un support fictif.
Compter une demande représentative
Préparez un exemple complet : consigne, question, documents utiles et historique effectivement envoyé. Compter la seule phrase tapée par l’utilisateur sous-estime la taille de l’entrée si l’application lui joint d’autres éléments. Relevez aussi la sortie obtenue au lieu de supposer qu’elle aura la longueur de la question.
Pour comparer deux modèles, faites compter ce même exemple avec chacun d’eux. Un changement de segmentation peut modifier le nombre de jetons sans changer le texte. Conservez ensuite séparément le volume mesuré et le tarif daté : le nombre de jetons ne donne pas, à lui seul, le montant facturé. Les conditions de l’offre restent à lire.
Ce que ça change pour une entreprise
- Le coût : le Journal officiel note que le nombre de jetons permet « d'estimer et de facturer le coût de fonctionnement » des grands modèles de langage commerciaux.
- La limite de longueur : la fenêtre de contexte d'un modèle se mesure en jetons.
- La langue compte : un même contenu ne donne pas le même nombre de jetons selon la langue et le modèle.
Termes voisins
- LLM : le modèle qui lit et produit les jetons.
- Fenêtre de contexte : le nombre de jetons qu'il peut prendre en compte d'un coup.
- Inférence : l’utilisation du modèle pour traiter une entrée et produire un résultat.
- Embedding : une autre façon de transformer du texte en nombres.
Questions fréquentes
Un token, c'est un mot ?
Pas toujours. Selon le modèle et la langue, un jeton peut être un mot entier, un morceau de mot, un caractère, voire un octet.
Pourquoi parle-t-on de tokens dans les prix des outils d'intelligence artificielle ?
Parce que le nombre de jetons traités permet d'estimer et de facturer le coût de fonctionnement des grands modèles de langage commerciaux.
Sources
Pages consultées pour écrire cet article :