RLHF

Trois étapes successives

Le processus commence par un affinage supervisé : des annotateurs rédigent ou sélectionnent les réponses attendues à des instructions variées, et le modèle apprend sur ces exemples. On entraîne ensuite un modèle de récompense à partir de comparaisons humaines entre plusieurs réponses à une même question. Ce modèle de récompense attribue une note, et l'apprentissage par renforcement optimise le modèle de langage pour obtenir les meilleures notes sur des cas qu'il n'a pas vus.

L'algorithme d'optimisation le plus documenté reste Proximal Policy Optimization, souvent abrégé PPO. Une pénalité de divergence empêche le modèle de s'éloigner brutalement de sa version initiale, ce qui évite de détruire ses capacités générales en poursuivant une récompense trop étroite. Le résultat est un modèle plus obéissant et plus prudent, mais pas nécessairement plus savant, et certainement pas plus vérifié sur les faits. Ce garde-fou explique pourquoi les modèles affinés restent capables de répondre à des demandes hors du cadre de leur entraînement supervisé.

Ce que les humains apportent

Le classement humain encode des préférences que la seule prédiction du texte suivant ne capture pas : répondre à la question posée, refuser une demande dangereuse, reconnaître son incertitude, éviter un ton condescendant. C'est ce qui distingue un modèle brut, qui prolonge un texte plausible, d'un assistant utilisable dans une relation de service. La qualité des consignes données aux annotateurs pèse lourd sur le résultat final, souvent davantage que le volume de comparaisons collectées.

Ce travail humain n'est pas neutre. Les annotateurs viennent d'horizons culturels et linguistiques particuliers, et leurs préférences se retrouvent dans le modèle. Un assistant peut ainsi sembler plus bavard, plus prudent ou plus direct que ne l'attend un utilisateur antillais, simplement parce que les jugements ayant servi à l'entraîner venaient d'ailleurs. Ce biais de préférence se corrige mal après coup, car il est réparti dans l'ensemble des poids du modèle. Un modèle ajusté sur des préférences locales peut donc sembler maladroit à un utilisateur qui partage une autre culture de la relation client.

Les limites du dispositif

Optimiser contre un modèle de récompense ouvre la voie à un contournement : le modèle apprend à produire ce que le juge aime, pas nécessairement ce qui est juste. Ce phénomène, parfois appelé suroptimisation, produit des réponses flatteuses ou excessivement prudentes. Il explique en partie pourquoi un assistant peut refuser une demande légitime tout en acceptant une formulation détournée, ou pourquoi il valide une erreur présentée avec assurance. Le symptôme se repère dans les évaluations : le modèle esquive, ajoute des précautions ou complimente excessivement.

Le coût et la lenteur du recueil humain ont poussé vers des variantes : jugements produits par un autre modèle, principes écrits plutôt que classements, retours synthétiques. Ces approches réduisent la charge d'annotation mais déplacent le problème, puisque le juge automatique hérite de ses propres défauts et de ses propres angles morts. Pour l'entreprise, la conséquence pratique reste la même : un modèle aligné n'est pas un modèle vérifié, et l'alignement ne remplace pas la validation métier.