IA multimodale : définition simple et exemples

Une intelligence artificielle multimodale est capable de comprendre, et parfois de produire, plusieurs types de contenus : du texte, des images, du son ou de la vidéo. Vous pouvez par exemple lui montrer une photo et lui poser une question écrite à son sujet, ou lui faire écouter un enregistrement et obtenir un résumé.

La page de Microsoft consacrée aux grands modèles de langage multimodaux les décrit comme des « systèmes d'intelligence artificielle avancés qui intègrent et traitent plusieurs types de données », comme le texte, les images et le son.

Une image du quotidien

Quand un client vous appelle pour une fuite, il vous décrit la situation avec des mots ; quand il vous envoie en plus une photo, vous comprenez beaucoup mieux. Une IA qui ne lit que du texte, c'est un interlocuteur au téléphone. Une IA multimodale, c'est celui qui reçoit aussi la photo, peut écouter le message vocal, et rapproche le tout pour répondre.

Les modalités courantes

La documentation d'Anthropic, éditeur du modèle Claude, présente par exemple ses capacités de vision comme permettant de traiter et d'analyser des images, et parle d'« interaction multimodale ».

Un exemple concret

Prenons un expert en bâtiment qui revient d'une visite avec des photos, un message vocal enregistré sur place et des notes griffonnées. Avec un assistant multimodal, il transmet le tout et demande une première trame de rapport : l'outil décrit les photos, transcrit le message, reprend les notes et propose un plan. L'expert vérifie chaque constat avant de signer, car l'outil peut mal interpréter une image.

Ce que ça change pour une entreprise

• Moins de ressaisie : documents scannés, photos de chantier, messages vocaux deviennent exploitables.
• Plus de données sensibles en jeu : une photo peut montrer un visage, une plaque, un document confidentiel. Vérifiez où partent ces fichiers avant de les confier à un outil en ligne.
• Les erreurs changent de forme : une IA peut mal lire un chiffre sur une photo floue ou confondre deux objets ; la relecture reste nécessaire.

Termes voisins

• IA générative : la famille d'IA qui produit des contenus.
• LLM : le modèle de langage, souvent au cœur d'une IA multimodale.
• Chatbot : un dialogueur qui peut accepter photos ou voix.
• Fenêtre de contexte : selon la documentation d'Anthropic, les images et documents joints y occupent de la place, comme le texte.