Paramètres

Ce que sont ces valeurs

Un modèle de langage est, au fond, une très grande collection de nombres organisés en matrices. Chaque paramètre intervient dans le calcul qui transforme un texte d'entrée en probabilités sur la suite la plus vraisemblable. Ces nombres ne sont pas écrits à la main : ils sont ajustés progressivement pendant l'entraînement, par corrections successives sur de très nombreux exemples. Ce que l'on appelle communément la mémoire du modèle est en réalité la trace statistique de ces ajustements, figée dans les poids.

La distinction avec les données est importante. Les documents d'entraînement ne sont pas stockés dans le modèle ; ils ont servi à régler les paramètres, puis ont été mis de côté. Un modèle ne peut donc pas citer fidèlement un texte qu'il n'a croisé qu'une fois, même s'il peut en produire une formulation proche. Cette nuance explique pourquoi l'on ajoute souvent une base documentaire externe, plutôt que de compter sur la mémoire supposée du modèle pour restituer une source.

Nombre et capacité

Le nombre de paramètres est souvent cité comme un indicateur de puissance. Il en donne un ordre de grandeur, pas une garantie. Deux modèles de taille comparable peuvent se comporter très différemment selon la qualité des données, la méthode d'entraînement et les réglages d'usage. Un modèle plus gros n'est pas automatiquement meilleur sur une tâche précise : il consomme davantage de mémoire, répond plus lentement et coûte plus cher à exécuter, ce qui pèse sur l'équation économique du projet.

Pour une entreprise, la question utile n'est pas le nombre affiché mais le compromis. Un modèle compact qui tient sur le serveur existant, répond en un temps acceptable et traite correctement vos documents vaut mieux qu'un modèle imposant inaccessible sans investissement matériel. Les familles de modèles ouverts proposent d'ailleurs plusieurs tailles pour cette raison : il s'agit de choisir en fonction de la charge attendue et du budget d'exploitation, pas de la fiche technique la plus flatteuse.

Ne pas confondre avec les réglages

Il faut distinguer les paramètres appris des paramètres de génération. Les premiers sont figés dans le fichier du modèle et ne changent qu'après un nouvel entraînement. Les seconds, comme la température ou la longueur maximale de réponse, se règlent à chaque appel et modifient le style de la sortie sans toucher au modèle. Confondre les deux conduit à des attentes irréalistes : aucune consigne ne fera acquérir à un modèle une connaissance qu'il n'a jamais apprise.

Un modèle peut être adapté à un domaine par réentraînement partiel ou par ajout de couches légères, méthodes qui déplacent une partie des poids. C'est utile pour un vocabulaire très spécifique, un format de sortie strict ou un ton maison. Cela reste coûteux en préparation de données, et souvent moins efficace qu'un bon dossier documentaire accompagné d'une consigne claire. L'ordre des essais compte : cadrage et documents d'abord, adaptation technique ensuite, seulement si le besoin est démontré.