Transformer (IA) : définition du transformeur

Un transformer, « transformeur » en français, est une architecture de réseau de neurones artificiels conçue pour traiter des séquences, comme les mots d'un texte, en regardant toutes leurs relations à la fois. C'est la structure sur laquelle reposent les grands modèles de langage et une grande partie de l'intelligence artificielle (IA) générative actuelle.

Le Journal officiel du 06/09/2024 le définit comme un réseau de neurones artificiels qui réalise un traitement parallèle des données d'entraînement afin de développer un modèle génératif, et note qu'il est utilisé pour la génération automatique de texte, d'image et d'audio.

D'où il vient

L'architecture a été présentée dans l'article « Attention Is All You Need » d'Ashish Vaswani et de ses coauteurs, déposé pour la première fois le 12/06/2017. Les auteurs y proposent un réseau fondé entièrement sur des mécanismes d'« attention », sans les traitements mot après mot des architectures précédentes, plus facile à paralléliser et nettement plus rapide à entraîner. Leurs premiers essais portaient sur la traduction automatique.

Une image du quotidien

Pour comprendre la phrase « Le client a rappelé le technicien parce qu'il n'avait pas reçu la pièce », vous savez tout de suite que « il » désigne le client. Vous le savez parce que vous regardez la phrase entière, pas seulement le mot précédent. Le mécanisme d'attention d'un transformer fait cela : pour chaque mot, il évalue quels autres mots de la phrase comptent pour en saisir le sens. Et comme il peut faire ce travail sur tous les mots en même temps, plutôt que l'un après l'autre, l'entraînement va beaucoup plus vite.

Un exemple concret

Prenons un office de tourisme qui traduit ses fiches de visite en plusieurs langues. S'il utilise pour cela un assistant fondé sur un grand modèle de langage, il se sert, sans le savoir, d'un descendant direct des travaux de 2017 : la traduction était justement le premier terrain d'essai du transformer. L'office n'a pas besoin de comprendre l'architecture pour s'en servir ; il a surtout besoin de faire relire les traductions par quelqu'un qui connaît la langue et les lieux.

Ce que ça change pour une entreprise

• C'est un mot d'ingénieur, utile pour lire une documentation, pas un critère de choix en soi : le Journal officiel note que les données d'entraînement des grands modèles de langage sont généralement traitées par des transformeurs.
• Ce qui compte pour vous est ailleurs : la qualité des réponses dans votre langue et votre métier, la quantité de texte que l'outil accepte (sa fenêtre de contexte), ce que devient ce que vous lui confiez.

Termes voisins

• Réseau de neurones : la famille dont fait partie le transformer.
• LLM : les grands modèles de langage, construits sur cette architecture.
• Token : les morceaux de texte que le transformer traite.
• Apprentissage profond : le cadre général.