Techniques
Mémoire d'agent
Dispositif par lequel un assistant conserve des éléments d'un échange ou d'un dossier pour les réutiliser plus tard, au-delà de la fenêtre de contexte immédiate.
Deux mémoires distinctes
Tout assistant dispose d'une mémoire de travail, limitée à la fenêtre de contexte : les derniers échanges, les documents joints, la consigne en cours. Quand cette fenêtre est dépassée, les éléments anciens sortent du champ et ne sont plus pris en compte. Cette mémoire ne persiste pas d'une session à l'autre, sauf dispositif ajouté. C'est le comportement par défaut de la plupart des interfaces conversationnelles, et il surprend souvent les utilisateurs. Beaucoup d'utilisateurs prêtent au modèle une mémoire qu'il n'a pas, et s'étonnent d'une réponse incohérente.
La mémoire longue est construite par l'application, pas par le modèle. Elle consiste à résumer les échanges passés, à enregistrer des préférences dans un fichier ou à stocker des documents dans une base interrogeable. Au moment de répondre, le système sélectionne les éléments pertinents et les réinjecte dans la consigne. Le modèle ne se souvient pas : on lui rappelle, à chaque fois, ce qui compte pour la réponse attendue. La qualité de cette sélection fait la différence entre un assistant utile et un assistant bavard.
Comment on la construit
Trois approches se combinent souvent. Le résumé progressif condense l'historique pour tenir dans la fenêtre. La fiche de profil retient des faits stables : secteur, rôles, vocabulaire, règles de rédaction. La recherche documentaire va chercher dans un corpus les passages utiles à la question posée. Chacune a ses limites et son coût de maintenance, et aucune ne dispense de vérifier ce qui a réellement été retenu. La recherche documentaire s'appuie sur une base vectorielle ou sur un index, selon le volume.
Le choix des éléments réinjectés compte plus que la quantité stockée. Une mémoire trop large noie la consigne et dégrade la réponse ; une mémoire trop étroite fait répéter les mêmes questions. Les systèmes sérieux prévoient une date de péremption, une hiérarchie de priorité et un moyen de corriger un fait erroné. Sans ces mécanismes, la mémoire devient une source d'erreurs durables, difficiles à attribuer à leur origine. Une mémoire qui conserve tout finit par coûter plus cher qu'elle ne rend service.
Risques et gouvernance
Une mémoire conserve des informations, donc elle crée un fichier de données personnelles dès qu'elle mentionne des personnes. Il faut savoir ce qui est enregistré, où, pendant combien de temps et qui peut le consulter. Dans un contexte professionnel, la mémoire d'un assistant peut contenir des éléments clients, des montants ou des appréciations internes qui n'ont pas vocation à circuler librement entre services ou entre prestataires. Un registre des traitements doit mentionner cette mémoire comme tout autre fichier de données.
Un second risque est la persistance d'une erreur. Un fait faux noté une fois sera réinjecté à chaque conversation, sans que l'utilisateur en comprenne l'origine. Une injection glissée dans un document mémorisé peut aussi orienter durablement le comportement de l'assistant. La mémoire doit donc être inspectable, corrigeable et effaçable, avec une trace des écritures permettant de reconstituer ce qui a été retenu et quand. La correction doit être aussi simple que la consultation, sinon personne ne l'utilisera.
En pratique
- Tenir une fiche de mémoire courte et datée, plutôt qu'un historique complet.
- Prévoir un moyen simple de consulter, corriger et supprimer ce qui est retenu.
- Définir une durée de conservation et l'appliquer automatiquement.
- Séparer la mémoire des faits métier de celle des préférences de rédaction.
Voir aussi
- Fenêtre de contexteLa quantité de texte qu'un modèle peut garder en tête pendant une conversation ou un traitement.
- RAGRépondre en s'appuyant sur des documents récupérés à la demande, plutôt que sur la seule mémoire du modèle.
- AgentUn programme qui poursuit un but en enchaînant lui-même des étapes et des appels d'outils.
- Base vectorielleUn entrepôt qui range les textes par proximité de sens pour retrouver le bon passage en une fraction de seconde.