Distillation

Un petit modèle apprend d'un grand

Le principe est celui d'un apprenti qui travaille aux côtés d'un praticien expérimenté. Le grand modèle traite un très grand nombre d'exemples et produit des réponses. Le petit modèle est ensuite entraîné à les reproduire, non seulement la réponse finale mais aussi la répartition de probabilité que le grand modèle associait aux différentes suites possibles. Cette information, plus riche qu'une simple réponse correcte, transmet une partie du savoir-faire. Le volume d'exemples compte moins que leur représentativité.

La méthode ne recopie pas les paramètres du grand modèle, elle transfère un comportement sur un jeu de cas. Le petit modèle garde donc sa propre architecture, plus légère, et son coût d'exécution reste celui d'un modèle de sa taille. C'est là tout l'intérêt : on obtient un modèle qui traite plus vite, consomme moins de mémoire et peut tourner sur un serveur modeste ou sur un appareil. Un petit modèle bien distillé tient ainsi dans une mémoire limitée et répond en quelques instants.

Pourquoi les entreprises y recourent

Le premier motif est économique. Servir une réponse avec un modèle de taille réduite coûte moins cher à chaque appel, et l'écart devient significatif sur un traitement en volume : classification de courriels, extraction de champs dans des factures, résumé de comptes rendus. Le second motif est technique : un petit modèle s'installe sur des infrastructures limitées, y compris chez un hébergeur local, ce qui simplifie les questions de transfert de données. Le gain se vérifie sur une semaine d'usage réel, sur des documents de l'entreprise.

Le troisième motif est la maîtrise. Un modèle distillé sur des données propres à l'entreprise, avec des réponses validées, reproduit un format et un vocabulaire cohérents avec les usages internes. Il devient possible d'obtenir une sortie stable sans réécrire la consigne à chaque appel. Cette stabilité compte pour les traitements automatisés, où une variation de format casse la chaîne de traitement en aval. L'effet est particulièrement net lorsque la sortie doit être un tableau ou un fichier structuré.

Les limites et les pièges

Un modèle distillé hérite aussi des défauts de son professeur. Si le grand modèle se trompe ou invente sur certains cas, le petit apprendra cette erreur avec la même assurance. La qualité du jeu de données et la validation des réponses de référence sont donc déterminantes. Distiller sur des sorties non relues revient à industrialiser une approximation, avec une apparence de rigueur qui la rend plus difficile à détecter ensuite. La relecture du jeu d'exemples devient le principal gisement de qualité.

La seconde limite est la perte de généralité. Un modèle distillé se spécialise sur le domaine couvert par les exemples et devient moins fiable dès qu'on le sort de ce périmètre. Il faut donc le cantonner à l'usage prévu et prévoir une détection des cas hors domaine, avec passage à un modèle plus grand ou à un humain. Sur une chaîne de traitement, cette soupape évite que la spécialisation devienne une source d'erreurs silencieuses.