Vectorisation

Du texte au vecteur

Un modèle spécialisé lit un passage et produit une liste de nombres, de quelques centaines à quelques milliers de valeurs. Chaque dimension ne correspond à aucun mot identifiable : c'est l'ensemble du vecteur qui porte le sens, comme une position dans un espace à plusieurs centaines de directions. Deux passages traitant du même sujet, même avec des mots différents, se retrouvent proches dans cet espace ; deux passages sans rapport sont éloignés. Rien dans ce vecteur ne dit pourquoi deux textes se ressemblent : la proximité constate, elle n'explique pas.

La proximité se mesure par un calcul simple, souvent le cosinus de l'angle entre deux vecteurs. Cette opération est rapide, ce qui permet de comparer un texte à des milliers d'autres en une fraction de seconde, sur une machine ordinaire. C'est ce qui distingue la recherche sémantique d'une recherche par mots-clés : cette dernière exige que le terme exact figure dans le document, la première retrouve une idée formulée autrement, avec un synonyme ou une tournure différente. Sur un fonds documentaire ancien ou mal océrisé, la recherche par mots-clés reste parfois plus sûre.

À quoi cela sert concrètement

Dans un moteur documentaire interne, chaque procédure, compte rendu ou contrat est vectorisé une fois, puis stocké dans une base adaptée. Une question de salarié est vectorisée à son tour, et le système remonte les passages les plus proches, avec leur source. Le modèle de langage répond ensuite à partir de ces passages, ce qui réduit les réponses inventées et permet de citer le document d'origine, condition souvent exigée en interne. Le gain se mesure au nombre de réponses qui citent correctement leur source.

Le classement de messages, la détection de doublons et le tri de réclamations reposent sur le même principe. Vectoriser un ticket, c'est pouvoir dire qu'il ressemble à un précédent déjà traité, et router les deux vers la même personne ou la même procédure. Sur un volume de courriels important, cette étape remplace une partie du tri manuel par un tri par ressemblance, dont le résultat reste soumis à validation humaine. Un seuil de similarité trop bas remplit la file de faux rapprochements, un seuil trop haut la vide.

Ce que la vectorisation ne fait pas

Elle ne comprend pas le sens au sens humain. Elle rapproche des formulations qui se ressemblent statistiquement, ce qui produit parfois des résultats absurdes : deux textes opposés sur un même sujet peuvent se retrouver proches, car ils partagent le vocabulaire. Une réclamation et sa réponse type se ressemblent fortement pour le modèle. Un filtre par mots-clés, une date ou une catégorie reste souvent nécessaire pour corriger ces effets. La similarité ne dit rien de la véracité : deux affirmations identiques peuvent être fausses toutes les deux.

Le choix du modèle de vectorisation compte autant que celui du modèle de langage, et il est souvent négligé. Un modèle entraîné majoritairement sur l'anglais rapprochera moins finement des textes français, et le créole encore moins. Changer de modèle impose de recalculer tous les vecteurs existants et de reconstruire l'index : c'est une décision à prendre au départ, pas à corriger une fois que la production tourne depuis plusieurs mois. Mieux vaut figer la version du modèle dans la documentation du projet que de la changer au fil de l'eau.