Aller au contenu
Cercle IA · Lexique Un site du réseau Cercle IA

Définition

Quantification d'un modèle d'IA : définition simple

La quantification réduit la précision des nombres pour économiser la mémoire. Définition, exemple et contrôle de la qualité et de la vitesse.

Mis à jour le

La quantification est une technique qui réduit la précision des nombres d'un modèle d'intelligence artificielle. Selon la documentation de Hugging Face, elle consiste à représenter les poids et les calculs intermédiaires avec des types de données de faible précision, comme des entiers sur 8 bits, au lieu des nombres à virgule sur 32 bits habituels. Le modèle prend alors moins de place en mémoire et peut calculer plus vite.

Une image du quotidien

Une photo en très haute définition pèse lourd. Réduite en qualité raisonnable, elle reste reconnaissable et s'envoie en un clin d'œil. La quantification fait de même avec les milliards de nombres d'un modèle : on arrondit, on gagne de la place, et l’on doit vérifier les effets de cette approximation.

Ce que dit la documentation

Le guide de Hugging Face (Optimum) indique que :

  • moins de bits veut dire moins de mémoire de stockage et, en théorie, moins d'énergie consommée ;
  • les multiplications de matrices vont plus vite avec de l'arithmétique sur entiers ;
  • cela permet aussi de faire tourner des modèles sur des appareils qui ne gèrent que les entiers ;
  • les deux cas les plus courants sont le passage de 32 bits à 16 bits, simple, et de 32 bits à 8 bits, plus délicat, car un entier sur 8 bits ne représente que 256 valeurs ;
  • la méthode la plus simple est appliquée après l'entraînement ; si la précision baisse trop, on peut entraîner le modèle en simulant l'erreur de quantification pour qu'il s'y adapte.

Le gain de mémoire ne démontre pas à lui seul un gain de vitesse ou d’énergie. La documentation demande notamment de vérifier que le matériel et le logiciel prennent en charge le format choisi. Une conversion supplémentaire peut modifier le résultat pratique.

Un exemple concret

Imaginons une PME fictive qui veut faire tourner un modèle open source sur un ordinateur de bureau, avec l’objectif de traiter ses documents dans ses locaux. Elle doit vérifier les connexions de l’application : la quantification ne décide pas à elle seule où les données sont envoyées. Le modèle d'origine ne tient pas dans la mémoire de la carte graphique. Une version quantifiée y tient. Avant de l'adopter, l'entreprise la teste sur vingt questions tirées de son travail réel et compare avec la version complète : si les réponses restent satisfaisantes, elle garde la version allégée.

Comparer deux versions sans fausser le test

Conservez le modèle de départ, la consigne et les questions. Changez la variante quantifiée puis relevez séparément la mémoire maximale, le délai et les erreurs de réponse. Une version qui occupe moins de place peut perdre une information importante sur vos documents ; une moyenne de qualité seule peut masquer cette difficulté.

Testez également une demande longue et plusieurs requêtes simultanées si elles font partie du travail prévu. Le fichier du modèle n’est pas toute la mémoire consommée par l’application. Notez les références des variantes et du logiciel pour pouvoir retrouver la configuration qui a produit chaque résultat.

Lors d’un échange sur deux variantes quantifiées, conservez une erreur concrète en plus des mesures de mémoire. Par exemple, un résumé fictif a-t-il omis une réserve présente dans l’original ? Pour relier les termes techniques au travail quotidien, vous pouvez consulter les programmes d’initiation disponibles. Le cercle pourrait ensuite comparer le compromis constaté, en précisant la version et l’équipement ; un gain observé sur une machine ne suffirait pas à promettre le même résultat ailleurs.

Ce que ça change pour une entreprise

  • Une configuration locale peut devenir suffisante grâce à la baisse de mémoire requise, sur CPU ou GPU selon le logiciel.
  • Moins de bits, une qualité à mesurer : testez sur vos propres cas, pas sur des tests génériques.
  • Ne se confond pas avec le choix d'un modèle plus petit : c'est le même modèle, stocké plus sobrement.
  • Le résultat dépend du matériel : les gains de vitesse et d'énergie ne sont pas identiques partout.

Le détail des formats courants pour les modèles tournant en local (GGUF, niveaux Q4, Q8) est expliqué sur Cercle IA Tech · Local.

Termes voisins

  • Inférence : le moment où le modèle quantifié est utilisé.
  • GPU : la mémoire que la quantification aide à économiser.
  • Modèle open source : les modèles que l'on quantifie le plus souvent pour les faire tourner soi-même.
  • Fine-tuning : l'adaptation d'un modèle, à ne pas confondre avec l'allègement.

Questions fréquentes

La quantification fait-elle perdre en qualité ?

Elle peut faire baisser la précision, car on représente les valeurs avec moins de bits. Le guide de Hugging Face conseille d'évaluer le modèle quantifié et de recourir à un entraînement tenant compte de la quantification si la précision ne suffit pas.

Quelles précisions de nombres sont courantes ?

Selon Hugging Face, les types de faible précision les plus courants sont float16, bfloat16, int16 et int8, à comparer au float32 habituel.

Sources

Pages consultées pour écrire cet article :

  1. https://iarche.fr/ateliers-webinaires
  2. https://huggingface.co/docs/optimum/concept_guides/quantization

À lire aussi