Biais

D'où vient la déformation

Un modèle apprend à partir d'un corpus, et ce corpus n'est jamais une photographie neutre du monde. Il reflète ce qui a été publié, numérisé, indexé, donc ce qui était accessible et jugé digne d'être conservé. Certaines professions, certaines langues, certains territoires y apparaissent beaucoup plus que d'autres. Le modèle reproduit ensuite ces proportions, avec d'autant plus de force qu'elles sont régulières dans les textes qu'il a vus pendant son entraînement.

S'y ajoute le choix de l'objectif. Un système entraîné à prédire ce qui retient l'attention apprend ce qui retient l'attention, pas ce qui est juste ni ce qui est représentatif. Un système de notation entraîné sur des décisions passées apprend les décisions passées, y compris leurs inégalités, et les applique avec une régularité que nul agent humain n'aurait osée. La déformation n'est donc pas un accident de fabrication, elle est inscrite dans la méthode.

Comment elle se manifeste

Les effets visibles sont souvent des écarts de traitement entre groupes, mesurés sur des tests comparables. Un outil de tri de candidatures peut favoriser un prénom fréquent dans les postes déjà pourvus. Un correcteur orthographique peut corriger différemment selon le registre social supposé de l'auteur. Un modèle de langue peut associer certains métiers à un genre, certaines origines à certaines compétences, sans qu'aucune règle de ce type n'ait été écrite par quiconque.

Une forme plus discrète concerne la couverture. Un modèle entraîné majoritairement sur des textes de l'hexagone connaît mal les réalités antillaises : institutions locales, noms de communes, filières économiques, vocabulaire du créole. Il répond alors avec assurance à côté du sujet, ou propose des références françaises qui n'ont pas cours ici. Cette lacune n'est pas une faute morale, mais elle produit les mêmes effets pratiques : un service qui ignore une partie de ses utilisateurs.

Ce qu'on peut corriger

La correction commence par la mesure. Il faut constituer des jeux de test où les groupes comparés sont représentés, puis calculer les écarts de performance et de traitement, catégorie par catégorie. Cette étape est inconfortable, car elle demande de nommer les catégories et d'accepter des résultats désagréables. Sans elle, les discussions sur l'équité restent des déclarations d'intention, impossibles à opposer à un fournisseur ou à un comité de direction. La mesure doit d'ailleurs être refaite après chaque changement de version, car un rééquilibrage peut se perdre.

Viennent ensuite les remèdes techniques, qui ont chacun leurs limites. On peut rééquilibrer les données d'entraînement, ajouter des exemples des cas sous-représentés, ajuster les seuils de décision par groupe, ou filtrer certaines variables sensibles. Ces interventions réduisent souvent l'écart mesuré, parfois en dégradant légèrement la performance globale. Elles ne suppriment pas la cause, qui tient à la fois aux données disponibles et aux choix de conception. Le rééquilibrage ne compense jamais un objectif mal choisi, et le filtrage des variables sensibles peut dégrader la précision sans garantir l'équité.

La responsabilité reste humaine

Un modèle ne peut pas porter la responsabilité d'une décision. Lorsqu'un outil oriente un recrutement, un crédit, un accès à un service ou une sanction, la décision reste imputable à l'organisation qui l'a mise en place et à la personne qui l'a validée. Cette chaîne doit être écrite, avec des rôles identifiés et une possibilité réelle de recours pour la personne concernée, faute de quoi l'automatisation devient un moyen de diluer la responsabilité.

La pratique la plus robuste combine trois éléments : une supervision humaine sur les cas sensibles, un journal des décisions permettant de revenir sur un cas contesté, et une procédure simple par laquelle un usager peut demander une révision. Aucun de ces dispositifs n'est technique, et c'est précisément pourquoi ils sont souvent oubliés dans les projets qui se concentrent sur le modèle. Ils sont pourtant ce qui distingue un service utilisable d'un risque juridique.