Évaluation

Vos cas, pas les classements

Les palmarès publics comparent des modèles sur des épreuves standardisées : culture générale, mathématiques, code. Ils indiquent une tendance, pas une réponse à votre question. Un modèle en tête de classement peut échouer sur vos factures, votre vocabulaire métier ou vos formulations locales. Inversement, un modèle plus modeste peut réussir brillamment sur une tâche étroite et répétitive, pour un coût très inférieur et une latence plus courte. Un classement mesure ce que ses auteurs ont choisi de mesurer, sur des tâches qui ne sont pas les vôtres.

La seule mesure qui engage une décision est celle que vous construisez. Elle part de situations réelles : demandes de clients, courriers reçus, comptes rendus, dossiers techniques. Elle suppose aussi une réponse attendue, établie par une personne compétente. Sans cette référence, on ne mesure que l'impression produite par une réponse bien tournée, ce qui est exactement le piège que l'évaluation doit permettre d'éviter. C'est un investissement modeste au regard du risque de déployer un outil que personne ne peut contrôler.

Construire le jeu de référence

Un jeu utile tient en quelques dizaines de cas bien choisis, pas en milliers d'exemples flous. On y met les demandes fréquentes, les cas limites, les formulations ambiguës, les pièges connus du métier et les situations où le modèle doit refuser ou demander une précision. Chaque cas est associé à la réponse attendue, ou à une liste de critères si plusieurs formulations conviennent également. La taille idéale dépend de la variété de vos demandes, pas d'un chiffre absolu.

La constitution de ce jeu est un travail de terrain. Il faut interroger ceux qui traitent les demandes, relire des dossiers anciens, accepter de trancher ce qui constitue une bonne réponse. Ce travail a une valeur propre : il clarifie le processus, indépendamment de l'IA. Il faut aussi le protéger, car un jeu utilisé pour l'affinage cesse d'être un jeu de mesure et devient un support d'apprentissage. Il faut aussi le versionner, comme un document de référence, pour savoir sur quelle base une décision a été prise.

Choisir ce que l'on mesure

L'exactitude ne suffit pas. Un modèle qui répond juste une fois sur deux mais ne répond jamais à côté peut être préférable à un modèle plus savant qui invente. On mesure donc aussi le taux d'erreurs graves, le taux de refus, la capacité à citer sa source, la stabilité entre deux exécutions identiques. Pour un service en production, s'ajoutent la latence, le coût par dossier et la charge de vérification humaine. Le choix des indicateurs dépend de ce que coûte une erreur dans votre métier.

Le jugement automatique par un autre modèle est commode mais circulaire : il reproduit les préférences de celui qui juge et se trompe sur les cas subtils. Il peut servir à trier un grand volume avant relecture humaine, jamais à décider seul. Sur les enjeux sensibles, juridiques ou financiers, la validation par une personne reste la seule mesure acceptable, même si elle coûte du temps et limite le débit. Un juge automatique doit donc être évalué lui-même avant d'être utilisé à grande échelle.

Évaluer sans arrêt

Un modèle change sans prévenir : le fournisseur met à jour sa version, modifie ses filtres, ajuste son tarif. Une évaluation faite une fois ne protège de rien. Le jeu de référence doit être rejoué à chaque changement, et périodiquement même sans changement annoncé, car le comportement perçu par les utilisateurs dérive plus vite que les communiqués du fournisseur et les notes de version. Un changement de version peut améliorer la moyenne et dégrader les cas qui vous importent le plus.

Les retours du terrain complètent utilement le banc d'essai. Un bouton de signalement, une revue hebdomadaire des cas litigieux, une copie des échanges problématiques : ces traces alimentent le jeu de référence et font remonter les angles morts. Une évaluation vivante est un document de travail mis à jour, pas un rapport relié présenté une seule fois à la direction pour obtenir un budget. Sans ce circuit court, les incidents se règlent au cas par cas et ne profitent à personne.