Boîte noire

Observer sans démontrer

L'expression vient de l'ingénierie : on étudie un dispositif par ses entrées et ses sorties, sans accéder à son fonctionnement interne. Un modèle de langage correspond bien à cette description. On lui donne une consigne, on lit une réponse, et l'on peut répéter l'expérience autant de fois que nécessaire. Mais entre les deux, des millions d'opérations numériques se succèdent sans laisser de trace interprétable par un humain. Rien dans la réponse ne porte la marque du chemin qui y a conduit.

La difficulté n'est pas l'absence de code. Les architectures sont publiques, les articles scientifiques décrivent les mécanismes, et les poids d'un modèle ouvert sont inspectables. Le problème est l'échelle : un modèle compte des milliards de valeurs numériques ajustées ensemble, et aucune d'entre elles ne correspond à une notion nommable. Chercher la cause d'une réponse dans ces valeurs revient à chercher une phrase dans une bibliothèque dont les livres sont écrits dans une langue inconnue.

Pourquoi l'explication est difficile

Un modèle ne suit pas un raisonnement au sens où un expert en suit un. Il calcule une suite de probabilités sur des tokens, puis en choisit un, puis recommence. La réponse finale émerge de cette suite de choix locaux, sans plan explicite conservé quelque part. Quand le résultat est juste, on peut reconstituer après coup un enchaînement plausible ; quand il est faux, on peut souvent en trouver l'origine. Dans les deux cas, l'explication est une reconstruction, pas une lecture du mécanisme.

Les méthodes d'explicabilité produisent des indices utiles mais partiels. Elles indiquent quels mots du texte ont pesé sur la décision, quelles zones d'une image ont compté, quels exemples d'entraînement ont une influence. Ces indications aident à diagnostiquer une erreur, à repérer une dépendance indésirable, à préparer une correction. Elles ne permettent pas de garantir qu'un modèle raisonne correctement, ni de certifier qu'il ne s'appuie pas sur un indice trompeur dans un autre cas.

Ce que l'explicabilité apporte

Dans un cadre professionnel, l'explicabilité sert d'abord à arbitrer. Un expert qui voit sur quels éléments le modèle s'est appuyé peut décider s'il accepte la réponse, la corrige, ou demande un second avis. Ce dialogue vaut mieux qu'un score de confiance affiché sans justification. Il transforme l'outil en proposition vérifiable plutôt qu'en verdict, ce qui est la seule posture tenable lorsque la décision engage un client ou un usager. L'explicabilité est donc moins une propriété du modèle qu'une pratique d'usage à organiser.

Elle sert aussi à documenter. Un dossier de conformité, une revue interne ou une réponse à un client mécontent exigent de pouvoir dire ce qui a été pris en compte et comment le contrôle a été organisé. Cette documentation ne prouve pas que le système est fiable dans l'absolu, elle démontre qu'un processus de vérification existe et qu'il a fonctionné. C'est ce que demandent la plupart des référentiels et des assureurs, bien plus qu'une explication mathématique complète.

Vivre avec, sans renoncer au contrôle

La bonne réponse n'est pas de refuser tout système opaque, mais de placer le contrôle là où il est possible. On accepte l'opacité du calcul interne et on agit sur ce qui l'entoure : qualité du corpus, périmètre des décisions autorisées, relecture obligatoire sur certains dossiers, journalisation des demandes et des réponses. Ce sont ces éléments qui déterminent le risque réel, bien plus que la structure interne du réseau. Un modèle dont on connaît les limites d'usage est plus sûr qu'un modèle réputé transparent et employé sans contrôle.

Il faut aussi accepter qu'une explication satisfaisante pour un juriste ne le soit pas pour un ingénieur, et inversement. Le premier veut savoir qui a décidé quoi, sur quelle base et avec quel recours. Le second veut comprendre pourquoi le modèle s'est trompé sur un cas précis. Un dispositif sérieux prévoit les deux niveaux, avec des documents distincts, plutôt que de promettre une transparence totale qui n'existe nulle part, y compris chez l'éditeur du modèle.