Données d'entraînement

Ce que le corpus décide

Un modèle de langage ne sait que ce qui a laissé une trace dans ses données. Si un sujet est absent, mal représenté ou daté, le modèle l'ignorera, le traitera de travers ou répondra à côté avec assurance. Cette dépendance explique pourquoi un assistant peut disserter sur des notions générales et se tromper sur une réalité locale : la Guadeloupe, la Martinique et les îles du Nord sont peu présentes dans les corpus à dominante anglophone, sauf par des textes institutionnels ou touristiques.

Le corpus fixe aussi une date. Un modèle entraîné à un moment donné ignore ce qui s'est publié après, et les évolutions réglementaires ou tarifaires postérieures lui échappent. Cette limite est connue sous le nom de coupure de connaissance. Elle justifie de faire chercher l'information à jour dans des documents fournis au moment de la question, plutôt que de compter sur la mémoire du modèle et sur sa capacité à deviner.

Qualité, filtrage et droits

La quantité ne suffit pas. Les corpus sont filtrés pour retirer les doublons, les pages de mauvaise qualité, les contenus nuisibles et parfois les données personnelles. Ces choix de filtrage ne sont pas neutres : retirer une source parce qu'elle est peu représentée en ligne revient à exclure une partie du monde. Les langues peu dotées numériquement, dont le créole, en subissent directement les conséquences dans la qualité des réponses. Le sujet est suivi de près par les autorités de protection des données.

Le droit des données utilisées pour l'entraînement fait l'objet de débats et de contentieux dans plusieurs pays. Textes protégés, contenus sous licence, données personnelles publiées sur le web : la frontière entre usage permis et usage contesté n'est pas stabilisée. Pour une entreprise, la question pratique se pose surtout lorsqu'elle fournit elle-même des documents à un fournisseur : il faut savoir ce que l'éditeur s'autorise à en faire. Il est possible de demander que ses documents ne servent pas à améliorer le modèle.

Ce que cela implique pour un projet

La première conséquence est de ne pas attendre du modèle une connaissance de votre métier. Vos procédures, vos tarifs, vos références produits, vos clauses types ne sont pas dans le corpus et ne le seront pas. Le travail consiste à constituer un corpus interne propre, à jour et documenté, puis à le fournir au modèle au moment de la question. C'est ce que font les architectures de recherche documentaire. Ce corpus demande un responsable, une date de mise à jour et une relecture périodique.

La seconde conséquence concerne la traçabilité. Un modèle qui répond à partir de vos documents peut citer ses sources, ce qui rend la vérification possible. Un modèle qui répond de mémoire ne le peut pas. Cette différence doit guider la conception : dans un cadre professionnel, une réponse sourcée et vérifiable vaut mieux qu'une réponse fluide et invérifiable, même si elle est plus agréable à lire. La source citée permet au lecteur de contester la réponse, condition d'un usage sérieux.