Biais algorithmique : définition simple et exemples

Un biais algorithmique est une erreur systématique d'un système automatisé, qui le pousse à favoriser ou défavoriser certaines personnes, certaines situations ou certaines réponses, sans raison légitime. Il ne s'agit pas d'une erreur ponctuelle, mais d'une tendance répétée, souvent invisible, qui vient le plus souvent des données sur lesquelles le système a appris.

Le 02/06/2020, le Défenseur des droits, avec la Commission nationale de l'informatique et des libertés (CNIL), a appelé à une « prise de conscience collective » sur ce sujet, en rappelant que des biais peuvent apparaître « derrière l'apparente neutralité des algorithmes ».

D'où viennent les biais

Selon ce texte, les biais naissent lors de la conception et du déploiement des algorithmes, mais aussi dans les bases de données qui les alimentent. Il les rattache à des humains, « dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations ». Il cite des domaines où les algorithmes sont déjà utilisés : l'accès aux prestations sociales, la police, la justice et le recrutement.

Une image du quotidien

Imaginez un nouvel employé qui apprend son métier uniquement en observant les habitudes de la maison depuis vingt ans. Si, pendant vingt ans, on a toujours confié les mêmes dossiers aux mêmes profils, il en conclura que « c'est comme ça qu'on fait », et continuera, sans même s'en rendre compte. Un algorithme qui apprend sur des décisions passées fait exactement cela : il prend l'habitude pour la règle.

Un exemple concret

Prenons une entreprise qui utilise un outil pour trier des candidatures. Si l'outil a été entraîné sur les recrutements passés, et que ceux-ci écartaient souvent un type de parcours, l'outil risque de les écarter à son tour, en donnant à ce tri une apparence d'objectivité. Personne n'a écrit de règle discriminatoire ; elle s'est glissée dans les données.

Ce que ça change pour une entreprise

• Le biais vient souvent de vos propres données : avant d'entraîner ou d'ajuster un outil sur votre historique, regardez ce que cet historique contient.
• L'ajustement d'un modèle peut déplacer ses biais : la documentation d'Anthropic, éditeur du modèle Claude, rappelle que le fine-tuning demande d'examiner soigneusement son effet possible sur les performances et les biais du modèle.
• Garder une décision humaine sur ce qui touche les personnes (recrutement, accès à un service, tarif) et pouvoir expliquer comment elle a été prise. En cas de doute sur vos obligations, référez-vous aux publications de la CNIL et du Défenseur des droits, ou à un professionnel du droit.

Termes voisins

• Apprentissage automatique : la façon dont un système apprend, et hérite, des données.
• Hallucination : une erreur ponctuelle, là où le biais est systématique.
• Fine-tuning : un moment où l'on peut introduire ou corriger un biais.