Attention

Peser les mots entre eux

Prenons une phrase où le pronom renvoie à un nom éloigné. Pour interpréter correctement, le modèle doit savoir à quoi ce pronom se rapporte, donc mettre en relation deux positions distantes. Le mécanisme d'attention calcule un score entre chaque paire de mots, puis utilise ces scores pour mélanger l'information. Un mot devient ainsi un résumé pondéré de la phrase, où les termes utiles pèsent plus que les autres. Tout le reste du traitement s'appuie sur ces représentations enrichies.

Ce calcul se fait en parallèle pour plusieurs points de vue simultanés, appelés têtes. Une tête repère peut-être les liens syntaxiques, une autre les reprises de sens, une autre la simple proximité. Le modèle n'apprend pas ces rôles par consigne : il les découvre pendant l'entraînement, et rien ne garantit qu'ils soient lisibles pour un humain. Cette opacité partielle explique pourquoi il reste difficile d'affirmer qu'un modèle a compris une phrase au sens où l'entend un lecteur.

Pourquoi cela a remplacé la lecture séquentielle

Les premières approches lisaient le texte mot après mot, en conservant un état interne. Cette mémoire se dégradait sur les longues phrases et interdisait le calcul parallèle, puisque chaque mot dépendait du précédent. L'attention supprime cette dépendance à l'ordre de lecture : toutes les positions sont traitées ensemble, ce qui exploite mieux les processeurs graphiques. C'est ce changement, plus qu'un détail d'implémentation, qui a permis d'entraîner des modèles sur des corpus très vastes.

La contrepartie technique est un coût qui croît avec le carré de la longueur. Doubler le nombre de mots ne double pas la dépense, elle la multiplie par quatre environ. D'où les efforts continus pour alléger ce calcul, sélectionner les passages utiles ou résumer avant de traiter. Ce détail explique pourquoi la longueur d'un document a un effet direct sur le prix et sur le délai d'une réponse, ce que tout devis sérieux doit refléter.

Ce que cela change pour un usage professionnel

Un modèle attentif relie une clause à une définition située plusieurs pages plus haut, ce qui rend possible l'analyse de contrats ou de cahiers des charges. La contrepartie est la consommation : chaque mot supplémentaire se compare à tous les autres, et la dépense croît plus vite que la longueur du document. D'où l'importance de découper les textes, de cibler les passages utiles et de ne pas envoyer un dossier entier quand trois pages suffisent à répondre.

L'attention explique aussi certaines erreurs. Un modèle peut s'appuyer sur un mot frappant mais hors sujet, ou accorder trop d'importance à la formulation d'une question plutôt qu'à son contenu. C'est pourquoi la manière de poser la consigne, l'ordre des éléments et la présence d'exemples modifient la réponse. Savoir cela ne permet pas de corriger le mécanisme, mais aide à concevoir des consignes plus stables et des vérifications systématiques sur les points sensibles.

Ce que l'attention ne fait pas

Elle ne donne pas au modèle une mémoire durable. Le contexte d'une conversation est relu à chaque échange, puis oublié une fois la session close. Un document de référence doit donc être réinjecté ou retrouvé dans une base documentaire à chaque nouvelle demande, ce qui a un coût et introduit des occasions d'erreur. Confondre attention et mémoire conduit à promettre un assistant qui se souviendrait de tout, alors qu'il ne dispose que d'une fenêtre temporaire.

Elle ne garantit pas non plus la fidélité au texte source. Un modèle peut produire une phrase plausible qui contredit le document qu'on lui a fourni, parce que son objectif reste de générer une suite vraisemblable. La vérification factuelle doit être organisée séparément : citation des passages utilisés, contrôle humain sur les points sensibles, comparaison avec la source. L'architecture rend ces contrôles techniquement possibles, mais elle ne les remplace jamais dans le travail quotidien.