Quantification

Le principe

Un modèle stocke ses poids en nombres à virgule flottante, sur un format qui occupe plusieurs octets par valeur. La quantification consiste à représenter ces mêmes poids sur un format plus court, par exemple huit bits au lieu de seize ou de trente-deux. Le modèle garde son architecture et sa logique ; seule la finesse de représentation change. L'opération se fait après l'entraînement, ou pendant, selon les méthodes, et produit un fichier plus léger à charger en mémoire.

La démarche repose sur une observation simple : la plupart des poids d'un réseau n'ont pas besoin d'une précision extrême pour contribuer utilement au calcul. En arrondissant, on introduit un bruit léger, souvent absorbé par la robustesse statistique du modèle. Tout l'enjeu est de doser : trop d'arrondi dégrade les réponses, pas assez ne libère pas suffisamment de mémoire pour changer de catégorie de matériel et justifier l'opération. En pratique, les formats les plus agressifs intéressent les machines sans accélérateur dédié, où la mémoire est la contrainte principale.

Gains et pertes

Le gain le plus visible est la mémoire. Un modèle qui ne tenait pas sur une carte graphique donnée peut, une fois quantifié, y tenir avec de la marge pour le contexte. Le second gain est la vitesse : les opérations sur des nombres courts sont plus rapides sur le matériel courant, ce qui réduit le temps de réponse à charge égale. Ces deux effets expliquent pourquoi la quantification est devenue un passage presque obligé du déploiement local.

Les pertes sont plus difficiles à cerner. Sur des tâches de rédaction ou de résumé, l'écart est souvent peu perceptible. Sur des tâches qui demandent de la précision, comme le calcul, l'extraction de références, le respect strict d'un format ou un raisonnement en plusieurs étapes, la dégradation peut apparaître. Elle ne se voit pas dans une démonstration de cinq minutes ; elle se révèle sur un jeu de tests métier un peu consistant et des cas volontairement difficiles. Un modèle quantifié peut aussi devenir moins stable d'un appel à l'autre sur la même entrée.

Ce qu'il faut mesurer

La bonne pratique consiste à comparer deux versions du même modèle, l'originale et la quantifiée, sur un jeu de cas identiques. On regarde le taux de réponses acceptées, le respect du format, la stabilité sur des questions répétées et le temps de réponse. Un écart faible sur ces indicateurs autorise le déploiement en version quantifiée ; un écart net sur une tâche critique impose de garder la version pleine, au moins pour cette tâche, quitte à faire cohabiter deux versions sur le même serveur.

Il faut aussi vérifier la compatibilité avec l'outil d'exécution. Tous les formats de quantification ne sont pas pris en charge par tous les moteurs, et certains nécessitent un matériel particulier pour être réellement plus rapides. Un format annoncé comme optimal peut n'apporter aucun gain s'il est décompressé à la volée. Le choix se fait donc sur une mesure locale, sur votre serveur et vos documents, pas sur une recommandation générale trouvée en ligne.