Perplexité

Ce que la valeur traduit

La perplexité compare la probabilité que le modèle attribue à chaque mot d'un texte réel. Un modèle qui hésite entre mille continuations possibles obtient une valeur élevée ; un modèle qui concentre sa probabilité sur le mot effectivement présent obtient une valeur basse. On peut la lire comme un nombre moyen de choix plausibles à chaque étape. Elle ne dit rien du sens produit, seulement de l'ajustement statistique du modèle à un corpus de référence donné. Un chiffre isolé n'a guère de sens : il ne se lit que par comparaison, à conditions de mesure identiques.

Le calcul s'effectue toujours sur un texte précis. Deux modèles ne se comparent donc que sur le même jeu de test, avec le même découpage en unités et le même vocabulaire. Une perplexité deux fois plus basse signifie que le modèle est deux fois moins surpris, dans les conditions exactes de l'essai. Sorti de ce cadre, le chiffre perd sa portée et sert surtout d'argument commercial, sans valeur pour arbitrer un choix d'architecture.

Pourquoi elle a été délaissée

Pendant longtemps, la perplexité a servi de mesure principale en traitement automatique du langage. Elle présente l'avantage d'être calculable automatiquement, sans jugement humain, sur de grands volumes de textes. Mais elle récompense la conformité au corpus : un modèle qui reproduit des formules fréquentes obtient un bon score sans nécessairement répondre mieux à une question posée. La corrélation avec l'utilité perçue par l'utilisateur s'est révélée faible sur les tâches ouvertes.

Les évaluations se sont donc déplacées vers des jeux de questions à réponse vérifiable, des comparaisons par paires et des appréciations humaines. Ces méthodes coûtent plus cher et restent discutables, mais elles mesurent ce qui intéresse réellement l'utilisateur final. La perplexité subsiste comme indicateur technique, utile pendant l'entraînement pour détecter une dérive, et comme contrôle de cohérence entre deux versions successives d'un même modèle avant leur mise en service. Elle ne remplace pas un essai sur des questions réelles, mais elle coûte peu et se calcule en quelques minutes sur un échantillon.

Usage raisonnable en entreprise

Pour un projet applicatif, la perplexité ne remplace pas un test métier. Elle peut en revanche servir de filtre en amont : comparer deux modèles candidats sur un échantillon de vos documents, vérifier qu'une réduction de précision n'a pas dégradé le comportement de façon visible, repérer qu'un corpus d'adaptation tire le modèle dans une direction inattendue. Ces vérifications sont rapides et évitent d'engager des essais plus lourds sans raison objective, sur un échantillon d'une centaine de passages qui suffit à repérer un écart grossier.

Il faut se méfier des valeurs annoncées sans protocole. Une perplexité publiée sur un corpus général ne dit rien de la performance sur des courriers d'assurance, des comptes rendus de chantier ou des délibérations municipales. Le seul chiffre qui compte est celui obtenu sur vos données, avec votre découpage, comparé à une référence stable dans le temps. Un tableur de suivi suffit pour cela, sans outil spécialisé ni budget dédié.