Entraînement

Ce qui se passe réellement

Un modèle de langage apprend une tâche unique : prédire le mot suivant. On lui présente des textes, il propose une suite, compare sa proposition à la réalité, puis ajuste légèrement ses paramètres dans la direction qui aurait donné la bonne réponse. Répété sur des volumes considérables, ce mécanisme simple produit la capacité à résumer, traduire ou rédiger, sans que personne n'ait écrit de règle grammaticale ni de dictionnaire des synonymes. La qualité du résultat dépend ensuite de la variété et de la propreté des textes présentés.

Ce réglage se fait par petites touches, avec un pas de correction fixé par l'ingénieur. Trop grand, l'apprentissage diverge ; trop petit, il n'aboutit pas dans un délai raisonnable. Les équipes surveillent une mesure d'erreur sur des textes mis de côté, jamais vus pendant l'apprentissage. Quand cette erreur remonte alors que celle des textes d'entraînement continue de baisser, le modèle apprend par cœur et devient moins utile sur des cas nouveaux. Ce phénomène porte un nom, le surapprentissage, et se détecte précisément par cette divergence.

Les moyens que cela suppose

L'entraînement d'un grand modèle mobilise des milliers de processeurs graphiques pendant des semaines, dans un centre de données, avec une alimentation électrique et un refroidissement dimensionnés pour l'occasion. Les pannes matérielles sont fréquentes à cette échelle ; les équipes doivent reprendre un calcul interrompu sans perdre la progression. La facture se compte en millions, ce qui explique que peu d'organisations entraînent un modèle généraliste de zéro. Les opérateurs réservent d'ailleurs des machines entières pour ce type de calcul, pendant que d'autres servent les utilisateurs.

Les données comptent davantage que la puissance brute. Un corpus mal filtré, redondant ou daté transmet ses défauts au modèle : doublons, propos haineux, textes obsolètes, absence de langues minoritaires. Le travail préparatoire, déduplication, filtrage, équilibrage, représente une part importante de l'effort et reste peu visible dans les présentations. C'est aussi là que se jouent les questions de droits et de consentement sur les contenus utilisés. Un modèle nourri de textes administratifs répondra mieux sur un formulaire que sur une discussion commerciale.

Ce que l'entraînement ne garantit pas

Un modèle entraîné n'est pas un modèle juste. Il reproduit les régularités de ses données, y compris les préjugés qu'elles contiennent, et il ignore ce qui n'y figure pas. Il peut aussi produire une réponse erronée avec assurance, parce que son objectif est de continuer un texte plausible, non de vérifier un fait. Ces limites ne se corrigent pas par plus de calcul : elles demandent des données de qualité, des tests et des garde-fous. Il faut donc mesurer ces défauts, les documenter et les signaler aux utilisateurs du service.

L'entraînement ne fixe pas non plus le comportement final. Un modèle brut complète un texte ; il ne répond pas à une consigne. Il faut ensuite une phase d'affinage sur des exemples de dialogue, puis un alignement sur des préférences humaines, pour obtenir un assistant utilisable. Ces étapes ajoutent peu de calcul mais changent radicalement l'usage, le ton des réponses et les refus que le modèle oppose à certaines demandes. Sans ces étapes, le modèle reste un instrument de laboratoire difficile à confier à un service entier.

Entraîner, affiner, adapter

Trois opérations voisines sont souvent confondues. Entraîner consiste à partir de poids initialisés au hasard, ce que font les grands laboratoires. Affiner reprend un modèle existant et le spécialise sur un domaine ou un style. Adapter, par des méthodes légères, n'ajoute qu'un petit module au modèle sans toucher à ses poids d'origine. Pour une PME ou une collectivité, les deux dernières options sont les seules réellement accessibles. Les grands laboratoires emploient des équipes entières pour la première, ce qui la met hors de portée d'une organisation isolée.

Le choix dépend de l'objectif. Si le problème est un manque de connaissance sur vos documents, une recherche documentaire branchée sur le modèle suffit souvent. Si le problème est un format ou un ton que la consigne ne parvient pas à tenir, un affinage sur quelques centaines d'exemples de qualité peut aider. Dans les deux cas, l'évaluation sur vos propres cas reste le juge de paix, bien avant la taille du modèle. Un affinage mal préparé dégrade parfois un modèle qui répondait correctement sur les cas courants.