XAI (explicabilité)

Deux familles d'explication

Une première famille décrit le modèle de l'intérieur : quelles variables ont pesé, dans quel sens, avec quelle intensité. Ces méthodes produisent des cartes de contribution, des graphiques d'importance ou des cartes de saillance sur une image, où les zones chaudes indiquent ce qui a retenu l'attention du réseau. Elles supposent un accès au modèle et à ses paramètres, ce qui n'est pas toujours possible lorsque le service est loué à un fournisseur. Aucune de ces cartes n'indique une causalité : elles montrent une corrélation apprise, pas une chaîne de raisonnement.

Une seconde famille travaille de l'extérieur, en observant les réponses. On modifie légèrement l'entrée et on regarde si la sortie change : si retirer un mot fait basculer la décision, ce mot comptait. Ces méthodes dites post hoc s'appliquent à n'importe quel système, y compris propriétaire et distant, mais elles décrivent un comportement observé et non un mécanisme interne. Leur résultat dépend donc des perturbations choisies par celui qui les conduit. Le choix de la méthode dépend donc de ce que l'on veut démontrer, et de l'accès qu'on a au système.

Ce que l'explication permet

Dans un refus de crédit, une décision d'orientation ou un contrôle de conformité, l'explication n'est pas un luxe : elle conditionne la possibilité de contester. Un client qui se voit refuser un dossier sans motif compréhensible n'a aucun moyen de corriger une erreur, ni même de savoir qu'il y en a une. Une explication, même approximative, rétablit un début de dialogue et permet de repérer les cas aberrants avant qu'ils ne se multiplient. Dans un cadre réglementé, cette possibilité de recours n'est pas une option commerciale mais une obligation de procédure.

En interne, l'explication sert surtout au diagnostic. Une importance qui porte sur une variable interdite, un code postal ou un nom de famille, révèle un biais que la performance globale masquait. Sur un modèle de maintenance, une explication qui s'appuie sur un capteur défaillant oriente la correction vers le matériel plutôt que vers l'algorithme. L'outil sert donc autant à déboguer un système qu'à rendre des comptes à l'extérieur. Un biais détecté à temps se corrige par les données ou par une règle ; un biais découvert après une plainte se corrige dans l'urgence.

Les limites à connaître

Une explication n'est pas une cause. Les méthodes d'attribution produisent une carte plausible, qui peut varier fortement d'une technique à l'autre sur la même décision. Deux spécialistes peuvent obtenir deux lectures différentes du même modèle, sans qu'aucun des deux n'ait tort. Présenter une telle carte comme la raison du refus, dans un courrier officiel, expose à une contestation fondée et fragilise la décision qu'elle prétendait justifier. Une explication instable, qui change à chaque infime modification de l'entrée, doit être traitée comme un signal d'alerte sur le modèle.

Sur les grands modèles de langage, l'explicabilité reste limitée. On sait quels passages du contexte ont influencé une réponse, plus difficilement pourquoi une formulation a été préférée à une autre. Les modèles peuvent aussi produire après coup une justification cohérente qui ne correspond pas au calcul réel, ce qui donne à une reconstruction l'apparence d'une preuve. Il faut donc distinguer ce qui est mesuré de ce qui est raconté. Un modèle qui justifie après coup ce qu'il a déjà décidé n'est pas plus transparent, il est seulement plus bavard.