Un modèle de langage ne comprend pas : il prédit le jeton suivant

Vous tapez une question, vous validez, et la réponse s’écrit sous vos yeux, morceau après morceau, à la vitesse d’une machine à écrire pressée. Cet affichage progressif n’est pas un habillage destiné à faire patienter. C’est exactement ce qui se passe à l’intérieur : le texte n’existe pas avant d’être affiché, il est fabriqué par petits bouts, et chaque bout est choisi sans que la suite soit connue.

Un modèle de langage possède une seule compétence, apprise des milliards de fois : étant donné un début de texte, estimer ce qui vient juste après. La réponse à une question, la traduction, le résumé, le code, la lettre de motivation, tout sort de cette opération unique, répétée quelques centaines ou quelques milliers de fois par réponse.

Comprendre la chaîne complète prend cinq minutes et rend prévisibles la plupart des comportements bizarres d’un assistant : les erreurs de comptage, les variations d’une exécution à l’autre, l’aplomb sur une réponse fausse, l’effondrement sur les textes très longs.

Le texte est d’abord découpé en jetons, qui ne sont pas des mots#

Avant tout calcul, votre phrase passe dans un découpeur. Il ne coupe ni aux espaces, ni aux syllabes, mais selon une liste de morceaux fréquents apprise sur un immense corpus. Ces morceaux s’appellent des jetons, ou tokens. Un mot courant occupe un seul jeton, un mot rare se fractionne en deux, trois ou six morceaux.

Le vocabulaire d’un modèle récent compte de l’ordre de 50 000 à 200 000 jetons distincts. Chacun porte un numéro. Après le découpage, votre question n’est plus qu’une suite d’entiers : le modèle ne verra jamais vos lettres. Cette perte d’information explique une famille entière d’échecs, du comptage de lettres aux jeux de mots, et pèse plus lourd en français qu’en anglais, comme le détaille le découpage en jetons et la langue française.

Le procédé le plus répandu, la fusion de paires fréquentes, date de 2016 dans le domaine de la traduction automatique. Son principe est de partir des caractères et de fusionner itérativement les paires les plus fréquentes du corpus, jusqu’à obtenir la taille de vocabulaire visée. Rien de sémantique là-dedans : ce sont des statistiques de fréquence.

Chaque jeton devient un point dans un espace à plusieurs milliers de dimensions#

Le numéro d’un jeton ne veut rien dire par lui-même. Le modèle le remplace donc par un vecteur, c’est-à-dire une liste de nombres réels, longue de quelques milliers de valeurs. Cette liste est apprise pendant l’entraînement, et elle place chaque jeton à un endroit précis d’un espace géométrique où la proximité traduit la parenté d’usage.

Dans cet espace, les jetons correspondant à « chien » et « chat » se retrouvent voisins, non pas parce qu’une définition l’a décidé, mais parce qu’ils apparaissent dans des contextes semblables. Ces vecteurs traversent ensuite des dizaines de couches de calcul, chacune composée de multiplications matricielles et de fonctions non linéaires. Le principe de ces couches est celui des réseaux de neurones artificiels, à une échelle de plusieurs milliards de paramètres.

Un point important pour la suite : à ce stade, la position dans la phrase n’est pas contenue dans le vecteur. Elle est ajoutée séparément, par un codage de position. Sans lui, « le chat mange la souris » et « la souris mange le chat » produiraient rigoureusement le même calcul.

L’attention laisse chaque jeton pondérer tous ceux qui le précèdent#

C’est le mécanisme qui a tout changé en 2017. Pour chaque jeton en cours de traitement, le modèle calcule une pertinence vis-à-vis de chacun des jetons précédents, puis construit sa représentation comme une moyenne pondérée de ces derniers. Un pronom va ainsi capter fortement le nom auquel il renvoie, même vingt phrases plus haut ; un verbe va capter son sujet ; un chiffre va capter l’unité qui l’accompagne.

Trois précisions rendent le mécanisme concret. D’abord, l’attention est répétée en parallèle sur plusieurs « têtes », chacune apprenant un type de relation différent, syntaxique pour l’une, thématique pour l’autre. Ensuite, l’opération est empilée sur des dizaines de couches, ce qui permet des relations de relations. Enfin, dans un modèle génératif, l’attention est masquée vers l’avant : un jeton ne peut regarder que le passé, jamais le futur, sinon la prédiction serait triviale.

Cette architecture a un coût qu’il faut connaître, parce qu’il commande les tarifs et les limites des services : le nombre de paires de jetons à comparer croît comme le carré de la longueur du texte. Doubler la longueur du contexte quadruple le travail d’attention. C’est la raison économique et technique des plafonds décrits dans la fenêtre de contexte.

À la sortie, une probabilité pour chaque jeton du vocabulaire#

Après la dernière couche, le modèle produit un score brut pour chacun des jetons de son vocabulaire. Une fonction appelée softmax transforme ces scores en probabilités qui totalisent 100 %. Le tableau ci-dessous illustre, avec des valeurs arrondies choisies à titre d’exemple, ce que peut donner cette distribution après la séquence « La capitale de la France est ».

Deux enseignements. Premièrement, la distribution n’est jamais vide : même sur un sujet totalement absent des données d’entraînement, un jeton finit par être le plus probable, ce qui est le ressort profond des inventions de l’IA. Deuxièmement, ces pourcentages mesurent la vraisemblance textuelle, pas la véracité. Un modèle sûr à 92 % est un modèle dont le texte d’entraînement rendait cette suite fréquente, rien de plus.

La température règle le risque pris à chaque tirage#

Reste à choisir un jeton dans cette distribution. Prendre toujours le plus probable produit un texte correct mais répétitif, qui tourne vite en boucle. Les systèmes tirent donc au sort, et deux réglages pilotent ce tirage.

La température divise les scores avant la transformation en probabilités. En dessous de 1, elle accentue les écarts et concentre le tirage sur les favoris. Au-dessus de 1, elle aplatit la distribution et donne leur chance aux outsiders. Le top-p, ou échantillonnage par noyau, procède autrement : il ne conserve que les jetons les plus probables dont les probabilités cumulées atteignent un seuil, par exemple 90 %, et redistribue le tirage entre eux. Il coupe donc la longue traîne des candidats absurdes sans figer le texte.

La plupart des interfaces grand public ne montrent pas ce réglage et le fixent autour de 0,7 à 1. Les interfaces destinées aux développeurs l’exposent. Le point à retenir est qu’une température basse ne rend pas le modèle plus exact : elle le rend plus constant. Si le jeton le plus probable est faux, il sera choisi à chaque fois, avec application.

Le modèle écrit sans plan et ne revient jamais en arrière#

Une fois le jeton tiré, il est ajouté au texte, et le calcul complet recommence sur la séquence allongée d’un cran. Cette boucle, dite autorégressive, a trois conséquences pratiques.

• Aucun retour arrière. Un jeton écrit ne peut plus être retiré. Si le modèle s’engage sur « Oui, » alors que la réponse est non, il construira une justification cohérente avec ce début. La première phrase pèse donc lourd sur toute la suite.
• Aucune anticipation garantie. Le modèle n’a pas écrit la conclusion avant de commencer l’introduction. Il donne l’illusion d’un plan parce que les textes bien construits abondent dans ses données, pas parce qu’un plan existe quelque part.
• La fin est un jeton comme un autre. Un jeton spécial signale la fin du message. Tant qu’il n’est pas tiré, le texte continue, ce qui explique les réponses qui s’étirent ou qui s’arrêtent au milieu d’une phrase quand la limite de longueur est atteinte.

C’est aussi pourquoi demander au modèle de « réfléchir étape par étape » change réellement la sortie : les étapes intermédiaires deviennent du texte, ce texte entre dans le contexte, et il conditionne les jetons suivants. Le raisonnement affiché n’est pas une fenêtre sur un calcul caché, il est le calcul lui-même. Les modèles dits raisonneurs poussent ce principe en produisant d’abord un brouillon interne long, facturé, avant la réponse visible.

Ce que la chaîne ne contient pas#

Aucune étape de ce qui précède ne consulte une base de connaissances, ne mesure une certitude, ni ne relit la réponse. Trois absences méritent d’être nommées, parce qu’elles s’opposent frontalement à l’intuition commune.

Pas de mémoire entre deux messages. Le modèle est une fonction sans état. Entre votre premier message et votre deuxième, il n’a rien retenu : l’interface lui renvoie l’intégralité de la conversation à chaque tour. Ce que les services appellent mémoire est une couche ajoutée par-dessus, décrite dans la mémoire des assistants.

Pas de connaissance datée du jour. Les paramètres sont figés à la fin de l’entraînement. Toute information postérieure doit entrer par le contexte, via une recherche web ou un document fourni. La façon dont ces paramètres se fixent est le sujet de l’entraînement d’un modèle.

Pas de séparation entre données et instructions. Pour le modèle, votre consigne, le document collé et le contenu d’une page web récupérée forment une seule suite de jetons. Un texte piégé placé dans un document peut donc être lu comme une instruction. C’est une faiblesse de conception, pas un bug local.

Ce qui, dans votre consigne, agit vraiment#

Puisque tout se joue sur une distribution de probabilités conditionnée par le texte antérieur, une consigne efficace est une consigne qui déplace cette distribution. Cela réoriente la façon d’écrire un prompt, loin des formules magiques.

Ces leviers sont repris et outillés dans l’anatomie d’une consigne qui marche, et notre constructeur de prompt les assemble dans le bon ordre. Le même raisonnement probabiliste vaut d’ailleurs pour les images, à ceci près que la génération part d’un bruit aléatoire au lieu d’un début de phrase, comme l’explique la fabrication d’une image par diffusion.

Où ranger cette famille de systèmes#

Un modèle de langage n’est qu’une catégorie parmi d’autres. Les systèmes qui trient des candidatures, détectent une fraude bancaire ou recommandent une vidéo reposent souvent sur des techniques différentes, plus anciennes et parfois plus fiables sur leur tâche. La frontière est posée dans la différence entre IA générative et IA classique, et la définition juridique retenue par le règlement européen figure dans ce que recouvre vraiment le mot intelligence artificielle.

Cette distinction n’est pas décorative. Les obligations qui pèsent sur un fournisseur, la nature des recours et le niveau de contrôle attendu dépendent de la catégorie dans laquelle tombe le système, pas de la performance de sa prose.

Le critère à retenir#

Devant une réponse d’assistant, demandez-vous ce qui, dans la chaîne, aurait pu produire cette phrase autrement que par la vérité : un format très fréquent dans les données, un début de phrase engageant, un sujet trop rare pour que la distribution soit informative. Plus une réponse est fluide et bien formatée, plus elle témoigne de la maîtrise du moule, et moins elle témoigne du contenu.