Embedding

Une position dans un espace de sens

Un modèle d'embedding transforme un fragment de texte en une suite de nombres, de quelques centaines à quelques milliers. Chaque nombre ne correspond à rien que l'on puisse nommer ; c'est l'ensemble qui situe le fragment dans un espace où la distance a un sens. Deux phrases qui parlent de la même chose se retrouvent à proximité, même si elles n'emploient aucun mot commun. C'est cette propriété qui rend la recherche par le sens possible.

L'intérêt pratique est immédiat. Une recherche par mots-clés échoue quand le client écrit panne de climatisation et que la fiche interne parle de dysfonctionnement du groupe froid. Une recherche par embedding retrouve la fiche parce que les deux formulations occupent une position voisine. Ce gain de robustesse explique la place prise par ces modèles dans les moteurs de recherche internes et les assistants documentaires. Le même mécanisme sert à rapprocher un courriel entrant d'une base de réponses types déjà rédigées.

Ce que l'on en fait concrètement

La construction d'un assistant sur documents repose sur trois étapes. On découpe les documents en passages de taille raisonnable, on calcule un embedding pour chaque passage, on stocke le tout dans une base vectorielle. À la question de l'utilisateur, on calcule un embedding de la question, on cherche les passages les plus proches et on les fournit au modèle de langage comme contexte. Le modèle répond alors à partir de textes identifiés.

D'autres usages existent en dehors de la recherche : rapprochement de fiches clients, détection de doublons dans un fichier d'adresses, classement automatique de réclamations par similarité, recommandation de produits ou de contenus. Dans tous les cas, la logique est la même : comparer des positions plutôt que des mots, pour retrouver ce qui se ressemble sans exiger une formulation identique d'un document à l'autre. Ces usages demandent peu de matériel et se mettent en place sans modifier les applications existantes.

Les limites à garder en tête

Un embedding ne comprend pas le sens comme un humain. Il rapproche ce qui apparaît ensemble dans ses données d'entraînement, ce qui peut produire des voisinages trompeurs : deux textes qui partagent un vocabulaire mais disent le contraire, ou une négation qui ne modifie pas assez la position. La proximité est un indice de pertinence, pas une preuve d'équivalence, et une vérification reste nécessaire sur les cas sensibles. Un seuil trop bas ramène des passages hors sujet, trop haut il écarte la bonne réponse.

Le découpage des documents pèse lourd sur le résultat. Un passage trop court perd son contexte, un passage trop long noie l'information utile et consomme du contexte au moment de la réponse. Il faut aussi choisir un modèle adapté à la langue des documents : un modèle entraîné majoritairement sur l'anglais traitera moins bien un texte français, et plus mal encore un texte mêlant français et créole. Un essai manuel sur des questions réelles révèle vite les faiblesses d'un découpage.