Pré-entraînement, ajustement fin supervisé, apprentissage par préférences : trois procédés distincts, des coûts sans commune mesure, et des effets que l’on attribue systématiquement au mauvais.
Un modèle de langage se fabrique en trois temps. Le pré-entraînement lui fait prédire le mot suivant sur des milliers de milliards de jetons : c’est là que se logent presque toutes ses connaissances, tout le calcul et donc tout le coût. L’ajustement fin supervisé lui apprend ensuite à répondre plutôt qu’à compléter, avec quelques dizaines de milliers d’exemples rédigés. L’apprentissage par préférences humaines règle enfin le ton, la prudence et les refus. Les deux dernières étapes coûtent une fraction infime de la première et ne réparent aucune lacune de connaissance.
Demandez à un assistant jusqu’à quelle date il connaît le monde. Il vous donnera un mois et une année. Cette date n’est pas une caractéristique technique du logiciel : c’est la fin de la collecte du texte sur lequel il a été entraîné, autrement dit la fin de la seule étape qui lui a réellement appris quelque chose sur le monde.
Tout le reste de sa fabrication, le fait qu’il réponde poliment, qu’il refuse certaines demandes, qu’il structure ses réponses en listes à puces, qu’il vous donne trop souvent raison, s’est joué après, dans des phases qui coûtent une fraction dérisoire de la première et qui ne lui ont presque rien appris de nouveau.
Cette dissymétrie est la clé du sujet. Confondre ce que chaque étape produit conduit à des attentes fausses : espérer qu’un ajustement fin apprenne un métier au modèle, croire qu’un ton assuré signale une vérification, ou imaginer qu’effacer une donnée d’un corpus suffit à l’effacer d’un modèle déjà entraîné.
Le pré-entraînement consiste à masquer la suite d’un texte et à demander au modèle de la deviner, puis à corriger tous ses paramètres d’une quantité minuscule en fonction de l’erreur commise. Le procédé est répété sur des milliers de milliards de jetons, issus de pages web filtrées, de livres numérisés, d’archives de code, d’articles scientifiques et de corpus sous licence.
Aucune annotation humaine n’est nécessaire : le texte se fournit à lui-même sa propre correction, puisque la bonne réponse est simplement le mot qui suivait. On parle d’apprentissage auto-supervisé, une variante de ce que décrit l’apprentissage automatique. C’est ce qui a rendu l’échelle possible : le facteur limitant n’est ni l’annotation ni l’expertise, c’est le calcul et la quantité de texte disponible.
La mécanique interne, empilement de couches et attention, est décrite dans le fonctionnement d’un modèle de langage. Ce qui compte ici, c’est la contrepartie : chaque passage sur le corpus mobilise des dizaines de milliers de processeurs graphiques pendant des semaines.
Le règlement européen sur l’IA a d’ailleurs choisi ce même indicateur pour tracer une frontière réglementaire. Un modèle à usage général dont l’entraînement dépasse 10^25 opérations en virgule flottante cumulées est présumé présenter un risque systémique, ce qui déclenche des obligations d’évaluation et de signalement supplémentaires. Le calendrier complet de ces obligations est traité dans l’application du règlement européen sur l’IA.
Un modèle brut, dit modèle de base, ne répond pas aux questions : il continue le texte. Posez-lui « Quelle est la capitale de la France ? » et il peut très bien enchaîner avec « Quelle est la capitale de l’Italie ? Quelle est la capitale de l’Espagne ? », parce qu’une question isolée, dans un corpus web, est souvent suivie d’autres questions.
Il connaît pourtant déjà presque tout ce qu’il connaîtra jamais. Le savoir est là, dissous dans les paramètres ; ce qui manque, c’est la convention d’usage. Cette observation a une conséquence commerciale importante : les modèles de base sont peu diffusés au grand public, mais ce sont eux qui portent la valeur, et les étapes suivantes se comparent à un vernis.
L’ajustement fin supervisé reprend le même mécanisme d’apprentissage, mais sur un corpus minuscule et entièrement rédigé à la main : des paires composées d’une consigne et de la réponse idéale, écrites par des rédacteurs recrutés pour cela. L’ordre de grandeur se compte en dizaines de milliers d’exemples, parfois moins.
Ce que cette étape installe est facile à énumérer : le fait de répondre plutôt que de compléter, la structure des réponses, la longueur habituelle, le registre de langue, la façon de refuser, l’usage des listes et des titres. Ce qu’elle n’installe pas, c’est la connaissance.
La troisième phase ne repose pas sur des réponses modèles mais sur des comparaisons. On soumet une même consigne au modèle, on récolte plusieurs réponses, et des évaluateurs humains les classent de la meilleure à la moins bonne. Ces classements servent à entraîner un second réseau, dit modèle de récompense, dont le seul métier est de prédire la note qu’un humain donnerait. Le modèle de langage est ensuite optimisé pour maximiser cette note, par apprentissage par renforcement.
Le sigle consacré est RLHF, pour apprentissage par renforcement à partir de retours humains. Une variante plus récente, l’optimisation directe des préférences, supprime le modèle de récompense intermédiaire et apprend directement sur les paires de réponses classées, ce qui réduit fortement le coût et l’instabilité. Une autre approche fait juger les réponses par un modèle guidé par un ensemble écrit de principes, ce qui remplace une partie du travail humain.
L’effet mesuré est spectaculaire. Dans l’expérience de référence publiée en 2022, les évaluateurs ont préféré les réponses d’un modèle aligné de 1,3 milliard de paramètres à celles d’un modèle brut de 175 milliards, soit plus de cent fois plus gros. Ce résultat dit quelque chose de dérangeant sur ce que mesure la préférence humaine : elle porte largement sur la forme, la coopération et la mise en page.
| Étape | Données utilisées | Volume | Part du coût total | Ce qu’elle change |
|---|---|---|---|---|
| Pré-entraînement | Texte brut, sans annotation | Milliers de milliards de jetons | La quasi-totalité | Connaissances, grammaire, style, capacités de raisonnement |
| Ajustement fin supervisé | Paires consigne et réponse écrites par des humains | Dizaines de milliers d’exemples | De l’ordre du millième | Format de réponse, registre, structure, refus de base |
| Apprentissage par préférences | Classements de réponses concurrentes | Dizaines à centaines de milliers de comparaisons | Quelques pour cent au plus | Ton, prudence, longueur, complaisance, politique de refus |
| Consigne système (à l’usage) | Quelques centaines de mots de texte | Un document | Nulle | Personnalité affichée, interdits ponctuels, date du jour |
La dernière ligne mérite l’attention : une partie de ce que vous prenez pour le caractère d’un assistant tient à un texte d’instructions injecté avant votre message, modifiable en une journée par l’éditeur. Il occupe une place dans la fenêtre de contexte, au même titre que vos propres messages.
Optimiser un modèle pour plaire à des évaluateurs a des effets secondaires mécaniques, et ils sont désormais bien documentés.
Ces comportements ne sont pas des bugs ponctuels : ce sont des optima locaux du critère qu’on a choisi d’optimiser. Les corriger suppose de changer le critère, ce que les fournisseurs font par retouches successives d’une version à l’autre.
On attribue volontiers les biais au corpus de départ. C’est vrai, mais partiel. Trois sources se superposent, et elles n’appellent pas les mêmes remèdes.
Le corpus, d’abord : la composition linguistique et géographique du web détermine ce que le modèle voit du monde, et le français y pèse une part minoritaire, ce qui dégrade la précision sur les sujets français spécialisés. Le découpage lui-même n’est pas neutre, comme le montre le coût en jetons de la langue française.
Les annotateurs, ensuite : quelques centaines de personnes, avec une consigne écrite, un pays de résidence et une culture professionnelle, fixent ce qui compte comme une bonne réponse. Leur profil influence directement le modèle de récompense.
Les règles explicites, enfin : les politiques de refus et les principes écrits sont des décisions éditoriales assumées. L’analyse détaillée, avec ce que le droit français et européen en dit, figure dans l’origine des biais d’un modèle.
Depuis août 2025, les fournisseurs de modèles à usage général mis sur le marché européen doivent tenir une documentation technique, fournir des informations aux entreprises qui intègrent leur modèle, mettre en place une politique de respect du droit d’auteur, et publier un résumé suffisamment détaillé des contenus utilisés pour l’entraînement, selon un modèle de document publié par le Bureau de l’IA. Les modèles présumés à risque systémique s’ajoutent des évaluations et un signalement des incidents graves.
Côté données personnelles, la CNIL admet que l’intérêt légitime puisse fonder la constitution d’une base d’entraînement, sous conditions : nécessité démontrée, mesures de minimisation, information des personnes et possibilité réelle de s’opposer. Le Comité européen de la protection des données a précisé en décembre 2024 les cas où un modèle peut être regardé comme anonyme et ceux où les droits des personnes restent exerçables. Le cadre est développé dans RGPD et intelligence artificielle, et la répartition des contrôles dans qui surveille l’IA en France.
Un modèle déployé continue d’évoluer, mais rarement par réentraînement complet. Les leviers sont ailleurs : nouvelles versions ajustées à partir de la même base, modification de la consigne système, ajout d’outils externes, distillation vers des modèles plus petits entraînés à imiter les sorties d’un grand, et surtout réglages de la couche applicative.
C’est aussi à ce niveau que se décide ce qui est conservé de vos échanges, question distincte de l’entraînement et souvent confondue avec lui, traitée dans la mémoire et l’historique des conversations. Un service peut parfaitement conserver vos messages sans jamais s’en servir pour entraîner quoi que ce soit, et l’inverse existe également.
Devant une promesse d’amélioration d’un modèle, demandez à quelle étape elle touche. Si elle porte sur le ton, le format, les refus ou la personnalité, elle est peu coûteuse, rapide, réversible, et n’ajoute aucune connaissance. Si elle prétend ajouter du savoir fiable, exigez de savoir si ce savoir arrive par les paramètres, ce qui est cher et incertain, ou par des documents fournis au moment de la question, ce qui est vérifiable.
Du style, un format, un vocabulaire métier et une manière de trancher : oui, très efficacement. Des faits nouveaux : mal. Quelques milliers d’exemples pèsent peu face aux milliers de milliards de jetons du pré-entraînement, et la littérature observe que l’injection de connaissances par ajustement fin augmente souvent le taux d’inventions, le modèle apprenant surtout à répondre avec assurance sur des sujets qu’il maîtrise mal. Pour des faits, la recherche documentaire dans une base maîtrisée reste préférable.
C’est la fin de la collecte du corpus de pré-entraînement. Au-delà, le modèle ne sait rien, sauf si l’information lui est fournie dans le contexte par une recherche web ou un document. Attention à deux pièges : la date annoncée par l’assistant lui-même est souvent approximative, car elle fait partie de ce qu’il a appris ou de sa consigne système ; et la couverture se dégrade nettement dans les derniers mois avant la coupure, faute de temps pour que le web commente les événements récents.
Cela dépend du service, de la formule et de vos réglages. Les offres grand public gratuites réutilisent fréquemment les échanges pour améliorer les modèles, avec une possibilité d’opposition dans les paramètres ; les offres professionnelles excluent généralement cette réutilisation par défaut, ce qui doit être écrit dans le contrat. Le détail des réglages figure dans refuser l’entraînement sur vos données.
Parce que l’écart se joue surtout après le pré-entraînement. Le jeu de démonstrations, la consigne donnée aux évaluateurs humains, les règles de refus, la longueur de réponse récompensée et la consigne système ajoutée au moment de l’usage produisent des personnalités très distinctes à partir de bases comparables. Le ton, la propension à nuancer et la tendance à vous donner raison sont des choix éditoriaux, pas des propriétés physiques.
Pas simplement. Une donnée n’est pas rangée dans une case identifiable : elle est diluée dans des milliards de paramètres. Les techniques de désapprentissage existent mais restent expérimentales, et le réentraînement complet coûte le prix de l’étape la plus chère. En pratique, les fournisseurs filtrent en sortie et retirent la donnée des corpus futurs. Le Comité européen de la protection des données a examiné ce point dans son avis de décembre 2024 sur les modèles d’IA.
Les liens ci-dessus renvoient vers les textes et les organismes cités. Les dates de consultation sont celles de la dernière relecture, le 13 septembre 2026.
Dans ce thème
Dans la rubrique
Modèles de langage, IA générative, deepfakes et règlement européen sur l’IA, expliqués sans hype ni panique.