Apprentissage par transfert

Ne pas repartir de zéro

Un modèle entraîné sur des millions d'images apprend d'abord des régularités générales : contours, textures, contrastes. Ces acquis se réutilisent sur une tâche proche avec beaucoup moins d'exemples. La même logique s'applique au texte : un modèle ayant lu de grands corpus possède une connaissance de la langue qui sert de socle à un usage spécialisé, du vocabulaire courant aux tournures d'un domaine. Ce socle n'est pas de la connaissance explicite : c'est une statistique de la langue, utile et difficile à décrire précisément.

Le transfert consiste à conserver ce socle et à n'ajuster qu'une partie du modèle sur les données de la nouvelle tâche. On parle alors d'adaptation ou d'affinage. L'intérêt est économique : quelques centaines d'exemples suffisent parfois là où un entraînement complet en demanderait des dizaines de milliers. Le temps de mise au point se réduit d'autant, ce qui rend le projet accessible à une équipe réduite. À l'inverse, un ajustement trop léger ne change que la surface et laisse le comportement d'origine intact sous les mots nouveaux.

Les conditions de réussite

Le transfert fonctionne quand les domaines se ressemblent. Un modèle entraîné sur des rapports financiers s'adapte mieux à des analyses comptables qu'à des comptes rendus d'intervention technique. Plus l'écart de vocabulaire et de structure est grand, plus il faut d'exemples, et plus l'ajustement doit être profond. C'est une question de proximité entre les textes, pas de volume disponible sur le disque. Une adaptation réussie sur un type de document ne garantit rien pour le suivant, même au sein de la même entreprise.

Il faut aussi se méfier des acquis indésirables. Un modèle de langage général apporte son style, ses tics de rédaction, parfois des habitudes prises sur des textes sans rapport avec l'activité. Sans exemples de qualité et sans relecture, l'adaptation reproduit ces défauts à grande échelle, avec l'apparence de la conformité. Le résultat est propre, homogène, et parfois faux d'un bout à l'autre du document. La relecture par échantillon reste la seule protection contre ce type de dérive silencieuse.

Transfert et dépendance au modèle de base

Le transfert a une conséquence pratique souvent négligée : il faut choisir un modèle de base, donc un fournisseur, et ce choix pèse ensuite sur les coûts, les conditions d'usage et la capacité à changer d'outil. Un modèle ajusté sur une base donnée ne se transpose pas toujours aisément sur une autre, et l'effort d'adaptation n'est pas nécessairement réutilisable ailleurs. Un modèle de base ouvert, exécutable sur ses propres machines, réduit ce risque sans le supprimer : les compétences de mise en œuvre restent à acquérir.

Pour une organisation qui traite des données sensibles, la question se pose avant l'ajustement : où réside le modèle de base, où sont envoyées les données d'adaptation, que prévoit le contrat en cas de fermeture du service. Un travail d'adaptation réussi sur un modèle inaccessible six mois plus tard laisse un actif inutilisable, qu'il faut reconstruire ailleurs, souvent sans les mêmes moyens ni le même calendrier. C'est un point à porter au contrat, pas une question technique à trancher plus tard, quand la dépendance est installée.