BERT

Comprendre plutôt que produire

BERT appartient à la famille des encodeurs. Pendant l'entraînement, on masque certains mots d'une phrase et le modèle doit les retrouver en s'appuyant sur ce qui précède et sur ce qui suit. Cette contrainte l'oblige à construire une représentation du contexte complet, dans les deux directions, plutôt qu'à prédire la suite du texte. À la sortie, on obtient un vecteur par mot, enrichi du sens de la phrase entière et de sa position.

Le modèle ne génère donc pas de texte. On l'utilise en ajoutant une petite couche finale, entraînée sur une tâche précise : dire si un avis est positif, repérer un nom de société dans un contrat, décider si deux phrases parlent du même dossier. Cette adaptation demande peu d'exemples, comparée à un entraînement complet depuis le départ. C'est ce qui a rendu la méthode accessible à des équipes qui ne disposaient pas de moyens de calcul considérables.

L'héritage dans la recherche

Les moteurs de recherche ont été les premiers grands bénéficiaires. Un encodeur qui compare une question et un passage, puis attribue un score de pertinence, améliore nettement les résultats par rapport aux seules correspondances de mots. Cette étape de reclassement reste très répandue aujourd'hui : on récupère d'abord une liste large par des méthodes rapides, puis on reclasse le haut de cette liste avec un modèle plus fin, capable de peser le sens de chaque phrase.

La descendance de BERT se retrouve aussi dans les modèles d'embedding utilisés par les bases vectorielles, et dans les architectures de compréhension de documents. Les grands modèles génératifs actuels reposent sur d'autres principes de sortie, mais ils partagent l'idée centrale : représenter un texte par des vecteurs contextuels, où le sens d'un mot dépend de son entourage immédiat. Cette idée a survécu à tous les changements d'architecture qui ont suivi.

Ce qu'il en reste pour un projet

Pour une entreprise, l'intérêt pratique est la modération des coûts. Une tâche de tri, de classification ou d'extraction traitée par un encodeur de taille raisonnable tourne sur un serveur modeste, répond vite et reste stable dans le temps. Réserver un grand modèle génératif à la rédaction et au raisonnement, et confier le tri en volume à un encodeur, constitue un partage souvent plus économe qu'un modèle unique sollicité pour tout faire.

L'autre intérêt est la mesurabilité. Ces modèles se comportent comme des classifieurs : on peut leur donner un jeu de test étiqueté, calculer un taux d'erreur par catégorie et suivre l'évolution dans le temps. Cette simplicité de mesure manque souvent aux modèles génératifs, dont la sortie est un texte libre difficile à noter automatiquement. Pour un processus répétitif soumis à contrôle, cet avantage compte autant que la performance brute affichée.

Une génération, pas une vérité

Il faut se garder d'en faire un outil de décision autonome. Un encodeur reproduit les régularités de ses données d'entraînement, y compris les associations discutables qu'elles contiennent. Sur des textes où certains prénoms, certains quartiers ou certaines orthographes désignent des populations particulières, il peut apprendre des corrélations sans rapport avec la compétence ou le mérite. La vérification par catégorie reste nécessaire avant tout usage qui touche des personnes, et un tel classifieur doit être audité avant d'entrer dans un processus de recrutement, de crédit ou d'accès à un service.

Son domaine est aussi plus étroit qu'on ne le croit. Un modèle entraîné sur des textes génériques maîtrise mal le vocabulaire technique d'un métier, les abréviations locales ou les tournures mêlant français et créole. Le remède consiste à mesurer la performance sur des exemples réels avant de généraliser, puis à adapter le modèle sur un corpus interne si l'écart observé est trop important pour l'usage envisagé. Un test sur vos propres documents, annotés par un professionnel du métier, reste la seule mesure qui vaille pour décider d'un déploiement.