Un neurone artificiel fait trois opérations et pas une de plus. Voici ce que contient vraiment le fichier d’un modèle, comment il s’ajuste, et ce que la métaphore du cerveau fait mal comprendre.
Un neurone artificiel multiplie chacune de ses entrées par un nombre, additionne le tout, et applique une fonction qui écrase ou laisse passer le résultat. Un réseau empile des millions de ces unités en couches. L’apprentissage consiste à corriger les nombres, appelés poids, en remontant l’erreur de la sortie vers l’entrée : c’est la rétropropagation. Le modèle entier tient dans un fichier de nombres, et ces nombres ne bougent plus pendant que vous l’utilisez. L’analogie avec le cerveau vient d’un article de 1943 et n’a jamais été autre chose qu’une image.
Un modèle de langage librement téléchargeable, annoncé à 7 milliards de paramètres, arrive sous la forme d’un fichier de 14 gigaoctets. Ouvert dans un éditeur, il ne contient ni règles, ni phrases, ni images, ni la moindre trace de ce qu’il a lu pendant son entraînement. Une longue suite de nombres à virgule, et rien d’autre. C’est le modèle entier.
Ces nombres s’appellent des poids. Les faire fonctionner consiste à les multiplier par les valeurs d’entrée et à additionner les résultats, des milliards de fois par seconde. Le mot « neurone » désigne le motif élémentaire de cette opération. Il vient d’un article de 1943 qui proposait une caricature mathématique du neurone biologique, et cette caricature n’a jamais prétendu être davantage.
Prenez une unité qui reçoit trois nombres en entrée. Elle possède trois poids, un par entrée, plus un nombre supplémentaire appelé biais. Son calcul complet est le suivant : multiplier chaque entrée par son poids, additionner les trois produits et le biais, puis passer le total dans une fonction dite d’activation.
La fonction d’activation la plus employée aujourd’hui se nomme ReLU et tient en une phrase : si le nombre est positif, garde-le ; sinon, renvoie zéro. C’est tout. Son unique rôle est d’introduire une rupture, une non-linéarité. Sans elle, empiler des couches serait inutile : une composition d’opérations linéaires reste une opération linéaire, et un réseau de cent couches ferait exactement ce que fait une seule.
Il n’y a donc ni décision, ni seuil de « déclenchement » au sens biologique, ni mémoire dans une unité. Juste une somme pondérée et un coude dans la courbe.
Tout ce qu’un réseau a appris est contenu dans ses poids. L’architecture, c’est-à-dire le plan de câblage, est du code de quelques centaines de lignes, souvent public. La valeur est ailleurs : dans les nombres obtenus après l’entraînement.
Ces nombres se comptent, et le calcul est instructif. Un modèle de 7 milliards de paramètres enregistrés chacun sur 16 bits, soit 2 octets, occupe 14 milliards d’octets, autrement dit environ 14 gigaoctets. Réduire la précision à 4 bits par paramètre, opération appelée quantification, divise le fichier par quatre : près de 3,5 gigaoctets, au prix d’une légère perte de qualité. Un modèle de 70 milliards de paramètres passe ainsi de 140 à 35 gigaoctets, ce qui décide de la carte graphique nécessaire. Ces conversions supposent de savoir distinguer gigaoctet et gibioctet, sujet traité dans la différence entre Go et Gio.
La contrainte pratique n’est pas la vitesse mais la mémoire : pour produire chaque mot, il faut que la totalité des poids soit accessible. C’est pourquoi la mémoire vidéo d’une carte graphique gouverne la taille de modèle exécutable, comme l’explique la répartition des rôles entre processeur, mémoire et stockage. C’est aussi pourquoi la plupart des modèles utiles tournent sur des serveurs distants plutôt que sur votre machine, avec les conséquences décrites dans le fonctionnement du cloud.
Un résultat mathématique de 1989, le théorème d’approximation universelle, établit qu’un réseau à une seule couche cachée peut approcher n’importe quelle fonction continue avec la précision voulue, à condition de disposer d’assez d’unités. La profondeur n’est donc pas une nécessité théorique.
Elle est une nécessité économique. Pour atteindre la même précision, un réseau plat aurait besoin d’un nombre d’unités astronomique, et l’entraîner serait hors de portée. Empiler permet de réutiliser : chaque couche construit des représentations à partir de celles de la couche précédente.
Sur un réseau de vision, ce phénomène se visualise. Les premières couches réagissent à des contours et à des taches de couleur. Les suivantes combinent ces contours en textures, puis en motifs, puis en parties d’objet, roue, œil, poignée. Les dernières couches associent ces parties à des catégories. Personne n’a programmé cette hiérarchie : elle émerge de l’entraînement, parce qu’elle est la façon la plus économique de réduire l’erreur. Le même principe préside à la fabrication d’une image par diffusion, traitée dans le passage du bruit à l’image.
Sur un modèle de langage, l’empilement obéit à une architecture particulière, le transformeur, introduite en 2017, dont la pièce maîtresse est le mécanisme d’attention : chaque position du texte pondère les autres positions. Le fonctionnement détaillé figure dans la mécanique d’un modèle de langage, et le découpage préalable du texte en jetons dans les tokens et la langue française.
Le neurone ne change pas d’une famille à l’autre. Ce qui change, c’est la façon de le brancher, et ce plan de câblage encode une hypothèse sur la structure des données.
Le réseau convolutif fait glisser un même petit jeu de poids sur toute l’image. L’hypothèse est qu’un contour reste un contour où qu’il se trouve, ce qui divise par plusieurs milliers le nombre de paramètres nécessaires. Il domine la vision par ordinateur depuis 2012, année où ce type d’architecture a nettement devancé les méthodes précédentes sur un grand concours de reconnaissance d’images.
Le réseau récurrent traite une séquence élément par élément en conservant un état interne. L’hypothèse est que le passé résume ce qu’il faut retenir. Sa limite est double : le traitement est séquentiel, donc peu parallélisable, et l’état interne oublie les dépendances lointaines.
Le transformeur abandonne l’état interne et fait regarder chaque position du texte à toutes les autres simultanément. Cela rend le calcul massivement parallèle, donc adapté aux cartes graphiques, mais le coût croît avec le carré de la longueur du texte, ce qui explique le prix et les limites de la fenêtre de contexte. Ce compromis est la raison technique du basculement de 2017.
Une même famille sert donc plusieurs usages, et un usage se traite parfois par plusieurs familles. Les modèles d’image récents combinent d’ailleurs convolutions et attention dans une même pile.
Reste la question centrale. Si la sortie est fausse, lequel des milliards de poids faut-il corriger, et de combien ?
La réponse repose sur une propriété du calcul différentiel : la dérivée d’une composition de fonctions se calcule de proche en proche. On mesure d’abord l’erreur en sortie. On détermine ensuite, pour la dernière couche, dans quel sens chaque poids aurait dû bouger pour réduire cette erreur. Puis on remonte à la couche précédente, en propageant la responsabilité vers l’arrière, couche après couche, jusqu’à l’entrée. Chaque poids reçoit finalement une petite correction, proportionnelle à sa part de responsabilité.
Cette procédure, popularisée par un article de 1986 dans Nature, est la raison pour laquelle les réseaux multicouches sont devenus entraînables. Elle s’exécute des millions de fois, sur des lots d’exemples, jusqu’à ce que l’erreur cesse de baisser. Le cadre général dans lequel elle s’inscrit est décrit dans ce qu’apprendre veut dire pour une machine, et son application en trois phases aux modèles de langage dans les étapes d’entraînement d’un modèle.
| Neurone biologique | Unité d’un réseau artificiel | |
|---|---|---|
| Signal | Impulsions électriques dans le temps, fréquence variable | Un nombre à virgule, hors du temps |
| Chimie | Dizaines de neurotransmetteurs, modulation hormonale | Aucune |
| Apprentissage | Local et permanent, la synapse se modifie sur place | Global et par phases, dirigé par une erreur venue de la sortie |
| Sens de circulation | Pas de voie connue renvoyant une erreur exacte en sens inverse | La rétropropagation exige précisément cette voie |
| Connexions | Environ 10 000 synapses par neurone, plastiques | Un câblage fixé par l’architecture, seules les valeurs changent |
| Énergie | De l’ordre de 20 watts pour l’ensemble du cerveau | Des centaines de watts par carte, des mégawatts par centre de données |
| Fonctionnement continu | Actif en permanence, y compris pendant le sommeil | Inactif entre deux requêtes, sans état interne conservé |
La quatrième ligne est la plus lourde de conséquences. Le biologiste Francis Crick relevait dès 1989, dans Nature, que la rétropropagation suppose qu’un neurone connaisse la valeur exacte des poids situés en aval de lui, information dont le cerveau n’a aucun moyen connu de disposer. Les réseaux artificiels ne sont donc pas une version simplifiée du cerveau : ils sont une autre solution au même problème, obtenue par un chemin que la biologie n’emprunte pas.
« Il apprend de moi pendant que je lui parle. » Non. Les poids sont chargés en lecture seule et ne bougent pas d’un iota pendant une conversation. Ce qui ressemble à de la mémoire est du texte réinjecté à chaque tour dans la fenêtre de contexte, mécanisme détaillé dans la mémoire des assistants. Vos échanges peuvent servir à un entraînement futur, mais c’est une opération distincte, décidée par l’éditeur.
« Plus de paramètres, donc plus intelligent. » Le nombre de paramètres conditionne la capacité de mémorisation, pas la qualité. À taille égale, la quantité et la propreté des données d’entraînement pèsent davantage. Plusieurs modèles récents de taille modeste dépassent des modèles bien plus gros de génération antérieure.
« Il comprend ce qu’il dit. » Le réseau ajuste des représentations qui capturent des régularités, y compris sémantiques. Cela suffit à produire du texte cohérent et ne suffit pas à garantir une référence au monde réel. C’est la source directe des inventions plausibles.
« On peut lui apprendre une règle une bonne fois. » Il n’existe pas d’endroit où écrire une règle. Corriger un comportement suppose soit de modifier la consigne à chaque appel, soit de réentraîner, ce qui déplace tous les poids et peut dégrader autre chose. Cette absence de localisation explique aussi pourquoi les biais d’un modèle résistent aux correctifs superficiels.
Un modèle est intégralement inspectable : chaque nombre est accessible. Cela n’en fait pas un système transparent. Une unité donnée ne code presque jamais un concept unique et identifiable ; elle participe à des centaines de motifs différents, et un même concept se trouve réparti sur des milliers d’unités.
Les travaux d’interprétabilité progressent, en isolant des directions dans l’espace interne qui correspondent à des notions repérables. Le résultat reste partiel et coûteux à obtenir. À l’échelle d’un contrôle réglementaire, on n’audite donc pas des poids : on audite des données d’entraînement, des procédures et des résultats de tests, ce que traduit l’exigence de documentation technique du règlement européen sur l’IA.
Un point est souvent ignoré et intéresse directement la protection des données. Les poids ne contiennent pas de copie des textes d’entraînement, mais un modèle peut restituer des passages appris par cœur lorsqu’ils étaient répétés dans le corpus. Un jeu de paramètres n’est donc pas automatiquement anonyme, ce que la CNIL rappelle dans ses travaux sur l’IA.
Quand on vous parle de réseau de neurones, remplacez mentalement le mot par « fonction ajustable à plusieurs milliards de coefficients ». La phrase devient moins impressionnante et beaucoup plus juste, et les bonnes questions apparaissent d’elles-mêmes : sur quelles données ces coefficients ont-ils été fixés, quand, et que se passe-t-il quand une entrée ne ressemble à rien de ce qui a servi à les fixer. Ce sont les mêmes questions que pour n’importe quel modèle statistique, et elles suffisent à situer un système dans le paysage décrit par la définition de l’intelligence artificielle.
Bien moins qu’on ne l’imagine. On communique sur le nombre de paramètres, c’est-à-dire de poids, qui se compte en milliards. Le nombre d’unités de calcul, lui, se compte plutôt en centaines de milliers : quelques milliers d’unités par couche, quelques dizaines de couches. Chaque unité porte des milliers de connexions, et ce sont ces connexions qui font le volume. Comparer ce chiffre aux 86 milliards de neurones d’un cerveau humain n’a donc aucun sens : les deux nombres ne mesurent pas la même chose.
Oui pour les petits modèles, sous conditions. Un modèle de quelques milliards de paramètres quantifié sur 4 bits tient dans 3 à 5 gigaoctets et fonctionne sur une machine récente dotée de 16 gigaoctets de mémoire vive, lentement sans carte graphique dédiée. Le facteur limitant est la mémoire, pas la vitesse du processeur : il faut que tous les poids tiennent en mémoire pour chaque mot produit. Voir qui limite quoi dans un ordinateur.
Pas au sens où on l’entend habituellement. On peut lire tous ses poids, ce qui n’apprend rien, ou mesurer quelles entrées ont le plus influencé une sortie, ce qui donne une indication et non une justification. Quand un assistant rédige un raisonnement étape par étape, ce texte est produit par le même mécanisme que le reste : c’est une sortie plausible, pas une trace de calcul. Il peut donc être faux tout en aboutissant à la bonne réponse, et l’inverse.
Les idées étaient là depuis longtemps : le neurone formel date de 1943, la rétropropagation a été popularisée en 1986. Ce qui manquait était le reste. Les jeux de données massifs, apparus avec le web. La puissance de calcul parallèle, apportée par les cartes graphiques à partir de 2012. Et des astuces d’entraînement permettant d’empiler des dizaines de couches sans que le signal d’erreur ne s’évanouisse en chemin.
Non, et c’est une erreur fréquente. Sur des données en tableau, majoritaires en entreprise, les modèles d’arbres de décision agrégés restent au niveau des réseaux profonds pour un coût de calcul sans commune mesure, et s’auditent plus facilement. Les réseaux dominent là où les données sont brutes et de grande dimension : image, son, texte. Cette répartition est développée dans la comparaison entre IA générative et IA classique.
Les liens ci-dessus renvoient vers les textes et les organismes cités. Les dates de consultation sont celles de la dernière relecture, le 13 septembre 2026.
Dans ce thème
Dans la rubrique
Modèles de langage, IA générative, deepfakes et règlement européen sur l’IA, expliqués sans hype ni panique.