LoRA

Le principe

Réentraîner un modèle de langage complet demande beaucoup de mémoire et de calcul, car il faut mettre à jour tous ses paramètres. LoRA propose de laisser les poids d'origine intacts et d'ajouter, dans certaines couches, deux matrices de petite taille dont le produit forme une correction. Seules ces matrices sont entraînées. Le résultat est un fichier d'adaptation léger, bien plus petit que le modèle, que l'on charge au moment de l'usage et que l'on peut retirer aussi simplement.

L'idée repose sur l'hypothèse que l'ajustement nécessaire à une tâche est de rang faible : il modifie la sortie dans une direction précise plutôt que de bouleverser le modèle. En pratique, on choisit un rang, un taux d'apprentissage et les couches à adapter. Ces réglages influencent le résultat et le temps d'entraînement. Le modèle de base restant inchangé, on retrouve son comportement d'origine en désactivant l'adaptation, ce qui facilite les comparaisons.

Ce que cela change

Le premier effet est matériel. Un ajustement devient possible sur une carte graphique unique, y compris pour des modèles de taille moyenne, là où un réentraînement complet exigerait plusieurs machines. Le second effet est organisationnel : une entreprise peut conserver un modèle de base commun et plusieurs adaptations par métier, par langue ou par client. Le stockage et le déploiement s'en trouvent simplifiés, chaque adaptation restant un fichier distinct et interchangeable.

Le troisième effet concerne la maintenance. Mettre à jour le modèle de base oblige à réentraîner ou à vérifier chaque adaptation, car les corrections apprises ne se transposent pas mécaniquement. Cette contrainte doit être prévue : un catalogue de dizaines d'adaptations devient difficile à suivre si personne n'en tient l'inventaire, avec la version de base, les données utilisées et les résultats d'évaluation pour chacune d'elles. Un fichier d'adaptation sans documentation devient inutilisable dès que son auteur quitte l'entreprise.

Les limites

LoRA n'ajoute pas de connaissances de façon fiable. Il oriente un comportement : ton, format, vocabulaire, manière de suivre une consigne. Faire apprendre des faits nouveaux par cette voie donne des résultats inégaux, et le modèle peut les restituer de travers. Pour des informations à jour, une recherche documentaire reste plus sûre. Un ajustement réussi change la forme des réponses ; il ne remplace pas une base de connaissances vérifiée et tenue à jour.

La qualité des données d'adaptation compte plus que leur volume. Quelques centaines d'exemples soignés, cohérents et représentatifs de la tâche produisent souvent un meilleur résultat qu'un lot important et bruité. Il faut aussi surveiller l'oubli : à force d'insister sur un cas particulier, le modèle peut perdre de sa polyvalence. Un test sur des demandes générales, en plus des cas ciblés, permet de détecter cet effet avant la mise en service.

Usages et variantes

Les usages les plus courants sont l'adaptation au style d'une maison, la structuration des sorties selon un format interne, l'amélioration d'une langue ou d'un dialecte, et la spécialisation sur un domaine comme le droit ou la comptabilité. Dans un contexte antillais, l'adaptation à des formulations locales et au créole est un cas d'école : les données existent, mais il faut les collecter et les valider avec des locuteurs, ce qui représente l'essentiel du travail.

Plusieurs variantes existent. QLoRA combine la quantification du modèle de base et l'adaptation, ce qui réduit encore le matériel nécessaire. D'autres méthodes ajoutent des préfixes ou des couches intermédiaires. Le choix dépend du matériel, de l'outil utilisé et du degré de contrôle souhaité. Aucune ne dispense d'évaluer le résultat sur des cas réels, avec des critères écrits, avant de le mettre entre les mains d'utilisateurs. Le temps de préparation des données reste, dans tous les cas, le poste le plus lourd du projet.