IA locale

Pourquoi garder le modèle chez soi

Un modèle local s'exécute sur une machine que vous contrôlez. Les documents envoyés dans la consigne ne sortent pas du réseau, ce qui simplifie le traitement de données clients, de dossiers de santé ou de pièces couvertes par le secret. Le coût devient un investissement matériel et un coût d'exploitation, plus une facture à l'usage. Pour une organisation qui traite un volume régulier, cette prévisibilité compte autant que la confidentialité.

L'indépendance est l'autre argument. Un modèle local ne disparaît pas à la faveur d'une évolution d'offre, ne change pas de comportement sans préavis et ne subit pas de panne distante. Il se fige dans une version que l'on peut tester et conserver. Cette stabilité a un prix : personne ne corrige à votre place, et la veille technique devient votre affaire. Une version figée se sauvegarde comme un logiciel : le fichier de poids et sa configuration, ensemble, sinon la reproduction devient impossible.

Ce qu'il faut pour le faire tourner

Le matériel conditionne tout. Un petit modèle quantifié tourne sur un ordinateur récent ; un modèle plus ambitieux exige une carte graphique dotée de mémoire. Les outils disponibles simplifient l'installation : Ollama pour un poste de travail, llama.cpp pour un matériel modeste, vLLM pour servir plusieurs utilisateurs en parallèle. Le choix du modèle compte plus que celui de l'outil : taille, langue, licence, spécialité. Un serveur sans carte graphique reste utilisable pour de petits modèles, avec des temps de réponse qui limitent l'usage à quelques personnes.

La quantification réduit l'empreinte mémoire en acceptant une légère perte de précision, souvent peu visible sur des tâches courantes. Il faut ensuite mesurer ce que la machine supporte réellement : longueur de contexte, nombre d'utilisateurs simultanés, temps de réponse acceptable. Un modèle qui répond en dix secondes sur un poste unique peut devenir inutilisable dès que trois personnes l'interrogent ensemble. Le débit de mémoire compte autant que sa capacité : un modèle peut tenir et rester lent, faute de bande passante.

Les contreparties

Un modèle local de taille modeste n'égale pas les plus grands services distants sur les tâches complexes. La différence se voit sur le raisonnement long, les documents très techniques, la qualité rédactionnelle en français. Elle se réduit si la tâche est étroite et le contexte bien fourni. L'écart réel se mesure sur vos cas, pas sur les classements publics, qui privilégient des épreuves générales. Sur une tâche de classement ou d'extraction, un modèle modeste bien guidé reste souvent suffisant, et se surveille plus facilement.

L'exploitation demande des compétences : installer, mettre à jour, surveiller la charge, sauvegarder la configuration, exposer le service sur le réseau interne avec authentification. Un serveur d'inférence laissé sans supervision finit par saturer ou par rester accessible à qui ne devrait pas l'être. L'auto-hébergement déplace la responsabilité, il ne la supprime pas. Il faut aussi prévoir la sauvegarde des consignes et des index, souvent plus longs à reconstituer que le modèle lui-même. Un incident matériel se prépare avant, pas pendant.