Intelligence artificielle · 5 articles
Tokens, fenêtre de contexte, entraînement, mémoire : la mécanique des assistants conversationnels.
Un modèle de langage produit du texte en estimant, mot après mot, ce qui vient probablement ensuite. Il n’ouvre aucune base de connaissances, ne vérifie rien et ne sait pas ce qu’il ignore. Presque tous les comportements qui surprennent les utilisateurs découlent de cette architecture, y compris les plus gênants.
Ce thème ouvre le capot dans l’ordre : comment la prédiction fonctionne, ce que coûtent les trois étapes d’entraînement et ce que chacune apporte, pourquoi le découpage en tokens pénalise le français par rapport à l’anglais, ce que la fenêtre de contexte permet et interdit, et ce que les assistants conservent réellement d’une conversation à l’autre.
Modèles de langage
Quatre choses différentes sont appelées « mémoire » par les services d’IA. Savoir laquelle est en jeu détermine ce que vous pouvez lire, corriger, effacer, et ce qui vous échappe.
Modèles de langage
Un texte français se découpe en 15 à 30 % de jetons de plus que sa traduction anglaise. Conséquences directes : le prix payé, la place disponible dans le contexte et la qualité des réponses.
Modèles de langage
Pré-entraînement, ajustement fin supervisé, apprentissage par préférences : trois procédés distincts, des coûts sans commune mesure, et des effets que l’on attribue systématiquement au mauvais.
Modèles de langage
La fenêtre de contexte est la mémoire de travail d’un modèle. Elle se remplit plus vite qu’on ne croit, elle se lit moins bien en son milieu, et elle se facture à chaque message envoyé.
Modèles de langage
Jetons, vecteurs, attention, probabilités, température : la chaîne complète qui transforme votre question en texte, et ce qu’elle explique des réussites comme des ratés.
Chaque question renvoie à la réponse, dans l’article qui la traite.
Thème
Ce qu’est l’IA, comment un modèle apprend, ce qu’un réseau de neurones calcule vraiment.
Thème
Hallucinations, sources inventées, biais, complaisance : pourquoi un modèle se trompe avec assurance.
Thème
La structure d’une consigne qui marche, les erreurs classiques, les formats de sortie.
Thème
Génération d’images, clonage vocal, deepfakes, filigranes et vérification d’origine.
Thème
Le calendrier du règlement (IA Act), les pratiques interdites, les obligations et qui contrôle en France.
Thème
Ce que vos conversations deviennent, l’opposition à l’entraînement, le RGPD appliqué à l’IA.
Thème
Charte d’usage, réunions, recrutement, contrats fournisseurs et responsabilité.