Neurone artificiel

Le calcul élémentaire

Un neurone artificiel reçoit plusieurs valeurs numériques. Chacune est multipliée par un poids, propre au neurone, puis les produits sont additionnés. Un terme constant, le biais, s'ajoute à la somme. Le résultat passe enfin dans une fonction d'activation, qui décide de l'intensité de la sortie. Cette sortie alimente les neurones de la couche suivante. L'opération est simple, mais elle est répétée un très grand nombre de fois. La fonction d'activation introduit la non-linéarité sans laquelle l'empilement n'apporterait rien.

Les poids sont ce que l'entraînement ajuste. Au départ, ils sont initialisés de façon arbitraire ; les erreurs commises sur les exemples servent ensuite à les corriger, couche après couche, par rétropropagation du gradient. Un neurone isolé ne représente presque rien. C'est leur empilement en couches, et la non-linéarité de la fonction d'activation, qui permet au réseau d'approcher des relations complexes entre des entrées nombreuses. Un poids proche de zéro revient à ignorer l'entrée correspondante, sans la supprimer formellement.

D'une unité à un réseau

Les neurones sont organisés en couches. Les premières traitent des motifs simples, les suivantes combinent ces motifs en représentations plus abstraites. Dans un réseau convolutif, cette progression correspond à des contours, puis des formes, puis des objets. Dans un transformeur, le mécanisme d'attention remplace en partie cette hiérarchie en reliant directement des positions éloignées d'une même séquence de texte. Chaque couche transforme la représentation produite par la précédente, sans revenir en arrière. La profondeur vient du nombre de couches empilées, la largeur du nombre de neurones par couche.

Le vocabulaire courant prête au neurone des intentions qu'il n'a pas. Il ne reconnaît rien et ne décide rien : il effectue une somme pondérée suivie d'une transformation. Les métaphores biologiques aident à se repérer, mais elles induisent en erreur dès qu'on raisonne sur la responsabilité ou l'explication d'une réponse. Un réseau n'est pas un cerveau simplifié, c'est un modèle statistique ajusté sur des exemples. Cette précision de vocabulaire évite de prêter au système une compréhension qu'il n'a pas.

Pourquoi cela reste utile à savoir

Comprendre l'unité de base aide à interpréter les limites observées. Un réseau ne peut apprendre que ce que ses entrées et ses pondérations permettent de représenter. Si une information n'est pas présente dans les données d'entraînement, aucun ajustement de poids ne la fera apparaître. De même, une entrée mal normalisée dégrade l'ensemble du calcul en aval, sans que l'erreur soit visible dans la réponse finale. Une entrée absente ou mal renseignée produit une réponse plausible mais fausse, difficile à détecter après coup.

Cette lecture explique aussi le coût. Chaque neurone d'une couche dense multiplie son nombre d'entrées par un poids, et l'inférence comme l'entraînement consistent à répéter ces multiplications. Les optimisations matérielles, processeurs graphiques et formats numériques réduits, portent précisément sur ce point. Le reste du vocabulaire technique, quantification, distillation, mélange d'experts, découle de cette contrainte arithmétique de base. Un modèle plus large ne compense pas des données pauvres ou mal préparées. Il les amplifie parfois, en donnant une apparence de rigueur à des sorties fragiles.