Un écart statistique n’est pas une discrimination, et supprimer la variable sensible ne supprime pas le biais. Voici d’où viennent réellement les biais, ce que le droit français interdit et ce qui se mesure.
Les biais d’un modèle viennent de quatre endroits distincts : le corpus d’entraînement, les préférences des personnes qui l’ont aligné, l’objectif d’optimisation lui-même, et le contexte de déploiement. Le troisième est le moins connu et le plus tenace : prédire le plus probable amplifie mécaniquement la majorité. Retirer la variable sensible d’un jeu de données ne règle rien, car des variables corrélées la reconstituent. Le droit français ne sanctionne pas l’écart statistique en soi, mais la discrimination fondée sur un critère prohibé, y compris quand elle est indirecte.
Une phrase anglaise, quatre mots de contexte : the nurse said he would be late. Demandez la traduction à un système automatique. Une partie des réponses écrit « l’infirmière a dit qu’elle serait en retard », alors que le pronom anglais indique clairement un homme.
L’exemple n’est pas anecdotique, il est méthodologique. L’anglais permet de parler d’une personne sans lui attribuer de genre grammatical. Le français l’interdit : il faut choisir un article, un accord, un pronom. Le système est donc contraint de trancher à chaque phrase, et ce qu’il choisit quand rien ne l’y oblige rend visible ce qu’il a appris. Le français est, de ce point de vue, un excellent réactif.
Reste à savoir ce que ce constat autorise à dire. Un écart mesuré n’est pas automatiquement une faute, et une absence d’écart n’est pas une preuve d’équité. Entre les deux se trouve une frontière juridique précise, que la discussion courante sur « les biais de l’IA » franchit sans la voir.
Un biais, au sens statistique, est un écart systématique entre ce qu’un système produit et ce qu’il devrait produire. La notion est neutre : un thermomètre qui affiche toujours un demi-degré de trop est biaisé.
Une discrimination, au sens juridique français, est tout autre chose : c’est un traitement défavorable fondé sur un critère prohibé, dans un domaine couvert par la loi. Le code pénal et le code du travail énumèrent plus d’une vingtaine de ces critères, parmi lesquels l’origine, le sexe, l’âge, l’état de santé, le handicap, la situation de famille, les convictions religieuses, l’orientation sexuelle, le lieu de résidence ou la vulnérabilité économique.
Trois conséquences pratiques découlent de cette distinction.
C’est ce dernier point qui rend l’argument « notre algorithme ne connaît pas le sexe des candidats » sans valeur juridique.
Attribuer les biais aux seules données d’entraînement est l’erreur d’analyse la plus répandue. Il y a quatre sources, et elles se corrigent différemment.
Le corpus. Un modèle apprend sur des textes écrits par des humains, à une époque donnée, dans des proportions qui reflètent qui écrit, sur quoi, et en quelle langue. Le corpus décrit l’état passé du monde, y compris ses répartitions professionnelles et ses stéréotypes. Un modèle entraîné sur ce stock prédit le passé, même quand on l’interroge sur le présent.
L’alignement. Après le pré-entraînement, des personnes comparent des réponses et indiquent lesquelles elles préfèrent. Ces préférences reflètent un groupe, une consigne d’annotation, une culture professionnelle. Elles corrigent certains biais du corpus et en introduisent d’autres, notamment une prudence variable selon les sujets. Le détail de ces étapes figure dans l’entraînement d’un modèle.
L’objectif d’optimisation. C’est la source la moins connue et la plus difficile à traiter. Un modèle de langage cherche la suite la plus probable, comme le décrit la prédiction du mot suivant. Or chercher le plus probable ne restitue pas une répartition, cela l’écrase vers son sommet. Un métier associé à 60 % à un genre dans les données ne ressortira pas à 60 % en génération : à faible température, la sortie majoritaire peut occuper la quasi-totalité des réponses. Le système n’imite pas le monde, il en produit la version modale.
Le déploiement. Le même modèle, branché sur un tri de candidatures avec un seuil bas, ou sur une aide à la rédaction avec relecture humaine, n’a pas le même effet. S’ajoute le biais d’automatisation : une recommandation affichée par une machine est suivie plus souvent qu’un avis humain équivalent, y compris quand elle est fausse. Le même effet de boucle joue dans le classement algorithmique d’un fil, où les clics produits par le classement deviennent les données du classement suivant.
La réaction spontanée consiste à supprimer les champs sensibles : pas de sexe, pas de date de naissance, pas d’adresse. Elle ne fonctionne pas, pour une raison mathématique simple. Dès que d’autres variables sont corrélées à la variable retirée, le système la reconstitue.
Les substituts sont nombreux et ordinaires : le prénom, le code postal, l’établissement de formation, la pratique sportive, une interruption de parcours de plusieurs mois, la formulation d’une lettre, le fait de posséder ou non un véhicule. Aucun n’est un critère prohibé. Ensemble, ils reconstruisent une bonne part de l’origine, du genre, de l’âge et du niveau social.
Ce mécanisme est aussi la raison pour laquelle un modèle de langage généraliste peut discriminer sans qu’aucune variable structurée n’existe : il lit du texte libre, et un CV en dit long sur son auteur.
Le paradoxe apparaît alors. Pour vérifier qu’un système ne défavorise pas un groupe, il faut connaître l’appartenance à ce groupe, donc traiter précisément la donnée qu’on avait retirée. Le règlement européen sur l’IA tranche ce nœud : pour les systèmes à haut risque, il autorise expressément le traitement de catégories particulières de données lorsque c’est strictement nécessaire à la détection et à la correction des biais, sous conditions de sécurité, de limitation d’accès et de suppression après usage. Le cadre général reste celui décrit dans le RGPD appliqué à l’IA.
| Source du biais | Mécanisme | Exemple observable | Levier de correction |
|---|---|---|---|
| Corpus | Répartition inégale de ce qui est écrit et par qui | Professions associées à un genre dans les traductions | Sélection et pondération des données, ajout de corpus |
| Alignement | Préférences des annotateurs et consignes d’évaluation | Prudence très variable selon les sujets abordés | Diversification du panel, consignes explicites |
| Objectif d’optimisation | Recherche du plus probable, concentration sur le mode | Dix exemples demandés, dix profils quasi identiques | Température, échantillonnage, contrainte de diversité dans la consigne |
| Déploiement | Seuil choisi, absence de recours, biais d’automatisation | Présélection suivie sans réexamen humain réel | Contrôle humain effectif, voie de contestation |
| Boucle de retour | Les décisions du système deviennent ses données futures | Un profil jamais recruté n’apparaît jamais comme réussite | Échantillon témoin, réexamen périodique |
Mesurer un biais suppose de choisir une définition de l’équité. Les principales sont simples à énoncer et incompatibles entre elles.
La parité de sélection compare les taux de retenus entre groupes. Un écart important est un signal d’alerte classique en matière d’emploi, sans valoir démonstration à lui seul.
L’égalité des chances compare les taux d’erreur au sein des personnes qui auraient dû être retenues : le système rate-t-il plus souvent les bons profils d’un groupe que d’un autre.
La calibration exige qu’un score de 0,8 corresponde à la même réalité dans chaque groupe.
Un résultat démontré en 2016 par Kleinberg, Mullainathan et Raghavan établit que, dès que les taux de base diffèrent entre deux groupes, ces critères ne peuvent pas être satisfaits simultanément, sauf cas dégénéré. Autrement dit, il n’existe pas de système « non biaisé » au sens absolu. Il existe des systèmes dont on a choisi, documenté et assumé le compromis. Cette conclusion déplace la question du terrain technique vers le terrain de la responsabilité, ce qui est exactement l’esprit des obligations pesant sur les systèmes à haut risque.
Ces protocoles ne remplacent pas un audit, mais ils suffisent à écarter l’idée qu’un outil serait neutre parce qu’il en a l’air.
Le test du pronom. Faites traduire vers le français des phrases anglaises où le genre est indiqué par un pronom éloigné du nom de métier. Comptez les accords corrects par profession. L’écart entre professions dites masculines et féminines apparaît vite. La langue joue ici un rôle actif, et pas seulement par le vocabulaire : le découpage même du français en jetons, décrit dans tokens et langue française, influe sur les formes féminines rares.
Le test de la liste. Demandez dix exemples de personnes exerçant un métier donné, dans dix conversations distinctes. Comptez les prénoms, les âges implicites, les origines suggérées. La concentration observée mesure directement l’amplification décrite plus haut.
Le test du mot unique. Reprenez une consigne réelle de votre travail. Changez un seul élément : un prénom, une ville, un âge. Comparez les sorties sur un critère objectif (longueur, ton, recommandation formulée, note attribuée). Si la recommandation change, vous avez un problème documentable. Les mêmes précautions de neutralité que dans la vérification d’une réponse s’appliquent : ne laissez pas la consigne indiquer la réponse attendue.
Le même protocole vaut pour la génération d’images, où le déséquilibre est souvent plus brutal encore que dans le texte, comme le montre la fabrication d’une image par diffusion.
Trois régimes se superposent, et le premier est le plus ancien.
Le droit de la non-discrimination. Il s’applique quel que soit l’outil. En matière d’emploi, la personne qui s’estime lésée présente des éléments laissant supposer une discrimination, et c’est ensuite à l’employeur d’établir que sa décision repose sur des éléments objectifs. Le recours à un logiciel n’allège pas cette charge, il la complique, puisqu’il faut pouvoir expliquer ce que le logiciel a fait.
Le droit des données personnelles. Le RGPD encadre les décisions fondées exclusivement sur un traitement automatisé produisant des effets juridiques ou significatifs, avec un droit d’obtenir une intervention humaine, d’exprimer son point de vue et de contester la décision. Une validation humaine de pure forme, qui entérine sans examen, ne satisfait pas cette exigence.
Le règlement européen sur l’IA. Il classe parmi les usages à haut risque l’emploi, l’éducation, l’accès aux services essentiels et l’évaluation de solvabilité. Il impose pour ces usages un examen des biais possibles dans les jeux de données, une documentation technique, une surveillance humaine et un enregistrement des événements. Ces obligations relèvent en France de plusieurs autorités, réparties comme l’explique le partage du contrôle de l’IA.
À l’échelle d’un utilisateur, trois leviers existent réellement. Nommer explicitement la diversité attendue dans la consigne modifie la sortie sur le point nommé. Demander plusieurs propositions puis choisir vous-même évite de récupérer la seule sortie modale. Et faire évaluer par le modèle un critère à la fois, sans lui livrer le profil complet, réduit les corrélations qu’il peut exploiter.
Ce qui ne dépend pas de vous est plus important : le corpus, l’alignement, le seuil paramétré par l’éditeur, et la boucle de retour de votre organisation. Aucune consigne bien tournée ne compense l’absence de mesure. Une organisation qui utilise un modèle pour trier, noter ou hiérarchiser des personnes doit produire des chiffres, pas des intentions, et inscrire ce contrôle dans sa charte d’usage.
Un dernier point mérite d’être noté : la tendance du modèle à approuver l’utilisateur, décrite dans la complaisance des assistants, interfère directement avec toute tentative d’audit conversationnel. Demander à un assistant s’il est biaisé produit une réponse alignée sur ce que votre question laisse attendre, dans un sens comme dans l’autre.
Ne demandez pas si un système est biaisé : il l’est, comme tout dispositif statistique. Demandez sur quel critère protégé son usage produit un désavantage, avec quel écart mesuré, et qui peut contester la décision. Tant que ces trois réponses n’existent pas, ce n’est pas la neutralité de l’outil qui est établie, c’est seulement l’absence de mesure.
Non. L’équilibre du corpus corrige une des quatre sources de biais, pas les trois autres. L’objectif d’optimisation continue de favoriser la réponse majoritaire, les préférences des annotateurs continuent de peser sur l’alignement, et le contexte d’usage reste déterminant. Un corpus parfaitement paritaire produit encore, à faible température, une écrasante majorité de sorties correspondant au cas le plus fréquent, parce que le système cherche le plus probable et non un échantillon représentatif.
La consigne agit sur la surface. Demander « présente les deux points de vue » ou « n’attribue pas de genre » modifie effectivement la sortie sur le point visé, et c’est utile. Mais elle ne corrige que ce que vous avez pensé à nommer, laisse intacts les biais que vous n’avez pas identifiés, et n’a aucun effet sur les cas où le modèle croit répondre à une question factuelle. Une consigne n’est pas un audit.
Il n’est pas interdit en soi, mais il est encadré. Le code du travail impose que les méthodes et techniques d’aide au recrutement soient portées à la connaissance du candidat, et que le comité social et économique soit informé et consulté avant l’introduction de tels outils. Le règlement européen sur l’IA range l’emploi parmi les usages à haut risque. Enfin, une décision produisant des effets juridiques ne peut reposer sur le seul traitement automatisé. Le sujet est traité dans l’IA dans le recrutement.
En droit français, la personne qui s’estime discriminée présente des éléments de fait laissant supposer une discrimination, et il revient ensuite à l’organisme de démontrer que sa décision repose sur des éléments objectifs étrangers à toute discrimination. Cet aménagement de la charge de la preuve vaut aussi quand la décision a été préparée par un algorithme. Le Défenseur des droits peut être saisi gratuitement et dispose de pouvoirs d’enquête, y compris par la méthode du testing.
La sous-représentation du français joue, mais elle produit surtout des erreurs de contenu et des calques d’institutions étrangères. Les biais sociaux, eux, se retrouvent dans toutes les langues du corpus, parce qu’ils sont dans les textes écrits par des humains, pas dans la langue. L’effet propre au français est ailleurs : la grammaire genrée oblige le système à trancher à chaque phrase, ce qui rend le biais visible et mesurable.
Les liens ci-dessus renvoient vers les textes et les organismes cités. Les dates de consultation sont celles de la dernière relecture, le 13 septembre 2026.
Dans ce thème
Dans la rubrique
Modèles de langage, IA générative, deepfakes et règlement européen sur l’IA, expliqués sans hype ni panique.