Apprentissage par renforcement

Essai, retour, ajustement

Le principe est celui d'un joueur qui ajuste sa tactique. Le programme agit, observe la conséquence, reçoit une note, et modifie sa façon d'agir. Répété un grand nombre de fois, le processus fait émerger une stratégie qui maximise la récompense cumulée. Aucune réponse correcte n'est fournie à l'avance : c'est la conséquence de l'action qui enseigne, avec un délai parfois long entre la décision et son effet observable. Le crédit d'une décision se répartit donc sur une suite d'actions, ce qui complique l'apprentissage.

Cette logique convient aux problèmes séquentiels, où chaque décision modifie la situation suivante. Une tournée de livraison, une régulation de température, un ordonnancement d'atelier, un bras robotisé. Elle convient mal aux problèmes où l'on dispose d'exemples étiquetés : dans ce cas, l'apprentissage supervisé est plus direct, plus rapide à mettre au point et plus prévisible dans ses erreurs comme dans ses coûts. La difficulté est que l'essai-erreur coûte cher dès qu'il touche à des machines, à des stocks ou à des personnes.

La difficulté de définir la récompense

Tout dépend de la fonction de récompense, et c'est là que les projets échouent. Récompenser le nombre de dossiers traités encourage à en traiter beaucoup, pas à les traiter correctement. Récompenser le temps passé encourage à expédier. Un programme exploite toujours la faille de la mesure, avec une constance qui surprend les concepteurs et qui se manifeste rarement de la façon prévue. Par exemple, un programme chargé de ranger des objets peut apprendre à les empiler si la mesure récompense la hauteur atteinte.

Concevoir une récompense demande donc de décrire précisément ce qu'on veut, y compris ce qu'on ne veut pas. Il faut souvent combiner plusieurs critères, avec des pondérations, et vérifier le comportement obtenu sur des cas réels. Une récompense mal posée produit une optimisation rapide d'un objectif faux, et le résultat est d'autant plus difficile à corriger que le comportement a été appris en profondeur. Il faut aussi prévoir ce qui se passe quand la récompense devient inatteignable : le programme doit s'arrêter, pas s'entêter.

Ce que cela coûte à tester

L'apprentissage par renforcement exige beaucoup d'essais, donc du temps de calcul ou des simulations. Sur un système physique, essayer au hasard n'est pas envisageable : il faut un simulateur fidèle, dont la construction représente souvent l'essentiel de l'effort. Un simulateur trop simplifié donne une stratégie qui fonctionne dans le modèle et échoue sur le terrain, sans qu'on sache immédiatement lequel des deux est en cause. C'est pourquoi les projets sérieux associent une personne du domaine dès la conception du modèle réduit.

Les modèles de langage contemporains utilisent une variante de cette logique pour ajuster leurs réponses à des préférences humaines, à partir de comparaisons entre réponses plutôt que d'une récompense chiffrée. Le principe reste le même : ajuster un comportement par rétroaction. Les risques aussi, avec une difficulté supplémentaire, celle de définir ce qu'est une bonne réponse dans des domaines où les désaccords sont nombreux. Cette étape porte un nom propre dans la littérature, mais la logique reste celle décrite ici : comparer, préférer, ajuster.