Multimodal

Ce que le mot recouvre

Un modèle multimodal reçoit autre chose que du texte. Il peut lire une photo de facture, décrire un plan, transcrire un audio ou analyser une courte vidéo, puis répondre en texte ou produire une image. Les combinaisons varient : certains modèles acceptent l'image en entrée seulement, d'autres génèrent aussi du son ou de la vidéo. Le terme couvre donc des capacités très inégales, et la fiche technique doit être lue précisément. Un modèle qui accepte l'image mais ne la commente pas n'a pas le même usage qu'un modèle qui la décrit.

Deux approches coexistent. La plus simple enchaîne des outils spécialisés : un module de reconnaissance vocale transcrit, un modèle de langage analyse le texte obtenu. La plus intégrée entraîne un modèle unique sur plusieurs formats, ce qui permet de relier un détail visuel à une consigne écrite dans le même raisonnement. La première est plus facile à corriger, la seconde capte mieux les nuances et les mises en relation implicites. Le choix dépend surtout de la précision attendue et de la possibilité de vérifier chaque étape.

Usages concrets

Pour une PME, l'apport principal concerne les documents non structurés. Une photo de bon de livraison, un scan de contrat, une capture d'écran de tableau : le modèle restitue les champs utiles sans qu'il faille décrire précisément la mise en page. Cette souplesse explique pourquoi les projets documentaires se sont multipliés, alors que les outils classiques butaient sur la variété des formats rencontrés au quotidien. Le modèle ne remplace pas le logiciel de gestion, il alimente la saisie ou le contrôle.

Sur le terrain, la combinaison image et texte sert au contrôle et au relevé. Un technicien photographie une installation et obtient une fiche descriptive ; un agent vérifie la conformité d'une devanture à partir d'une photo. Ces usages restent supervisés, car le modèle se trompe volontiers sur les détails fins : chiffres manuscrits, petites références, unités. La vérification humaine reste la règle, en particulier pour tout ce qui engage un engagement contractuel.

Limites à connaître

Un modèle multimodal ne voit pas comme un œil humain. Il découpe l'image en fragments et travaille sur des représentations numériques, ce qui le rend sensible à la résolution, au cadrage et à la qualité de la lumière. Sur un document flou ou penché, la lecture se dégrade vite. Il peut aussi inventer un contenu plausible là où l'image est ambiguë, sans signaler clairement son incertitude à l'utilisateur. Une photo nette prise à la verticale vaut mieux qu'une série de clichés approximatifs.

Le coût et la latence augmentent avec le nombre d'images et leur taille. Envoyer dix photos coûte plus qu'envoyer dix phrases, et le traitement prend davantage de temps. Il faut donc cadrer la demande : une seule image recadrée sur la zone utile donne souvent de meilleurs résultats qu'une vue d'ensemble. La confidentialité des images doit également être traitée, comme celle de tout document confié à un service distant. Un envoi groupé d'images coûte plus cher et se relit moins facilement qu'un envoi ciblé.