Transformers

Le problème qu'elle résout

Avant cette architecture, les modèles de langage lisaient un texte mot après mot, en conservant un état interne mis à jour à chaque étape. Cette dépendance séquentielle limitait l'exploitation des processeurs graphiques, conçus pour exécuter des milliers d'opérations simultanées, et rendait difficile la capture des liens à longue distance. L'article qui a introduit les Transformers propose de supprimer la récurrence et de comparer directement toutes les positions d'une séquence entre elles. L'idée est de laisser le modèle décider lui-même quelles positions doivent dialoguer, plutôt que de lui imposer un ordre de lecture.

Le gain est double. Le calcul se parallélise sur l'ensemble de la séquence, ce qui rend possible l'entraînement sur de très grands corpus dans un temps raisonnable. Et chaque position peut accéder à toutes les autres en une seule opération, ce qui rend les dépendances lointaines plus faciles à apprendre. C'est ce second point qui explique la qualité des modèles sur les textes longs, où le sens d'un mot dépend d'une phrase située bien avant dans le document.

Le mécanisme d'attention

Pour chaque mot, le modèle fabrique trois représentations : une requête, une clé et une valeur. La requête d'un mot est comparée aux clés de tous les autres, ce qui produit un poids d'importance attribué à chacun. La réponse est la moyenne des valeurs, pondérée par ces poids. Concrètement, le modèle apprend quels mots doivent se regarder mutuellement pour résoudre une ambiguïté, rattacher un pronom à son antécédent ou relier une négation au terme qu'elle annule. Rien dans ce calcul ne dépend de la distance entre les mots : un terme éloigné peut peser autant que son voisin immédiat.

Un bloc Transformer empile plusieurs têtes d'attention, qui peuvent suivre des relations différentes, puis un réseau feed-forward qui transforme chaque position. Ces blocs se répètent, et l'empilement construit des représentations de plus en plus abstraites. Le mécanisme est général : il ne suppose rien de la nature des données, ce qui explique qu'il ait été repris pour l'image, le son, la structure des protéines et la prédiction de séries temporelles. Cette polyvalence a un revers : le modèle n'a aucun a priori sur la structure du problème, il doit tout apprendre des exemples fournis.

Ce que l'architecture impose

L'attention compare chaque position à toutes les autres, ce qui fait croître le coût avec la longueur du texte. Doubler la taille d'un contexte ne double pas le calcul, il l'alourdit davantage. C'est la raison technique derrière les efforts sur les fenêtres de contexte, les méthodes d'attention approchée et les architectures hybrides qui réintroduisent une part de récurrence pour traiter les longs documents sans exploser en mémoire. Le réglage de la taille du contexte est donc un arbitrage économique autant que technique.

Pour un dirigeant, cette architecture n'a pas à être connue dans le détail. Elle explique en revanche deux propriétés observables : la capacité à traiter un dossier entier d'un coup, et le coût qui monte avec la taille de ce dossier. Elle rappelle aussi que le modèle ne conserve aucune mémoire entre deux appels : tout ce qu'il sait du contexte doit lui être fourni à chaque fois, ce qui a des conséquences directes sur la conception d'un assistant documentaire.