Préjugés et discrimination dans les systèmes d'IA : quelle est la responsabilité des entreprises ?

Les systèmes d'IA ne sont pas automatiquement objectifs. Des données biaisées et des applications non critiques peuvent favoriser des décisions discriminatoires.

Article technique
Image décorative « Bias »

L'intelligence artificielle s'impose de plus en plus dans les processus RH. Selon une enquête menée par ManpowerGroup, 44 % des entreprises allemandes utilisent déjà l'IA dans des domaines tels que le recrutement, l'intégration ou la formation. 23 % supplémentaires prévoient de la mettre en place au cours des douze prochains mois.

Dans le même temps, une étude de l’IU Internationale Hochschule montre que 65,2 % des personnes interrogées ne font pas confiance à une décision prise par l’IA dans le cadre du processus de candidature. De plus, 80,5 % d’entre elles se sentent moins valorisées lorsqu’une IA, plutôt qu’un être humain, statue sur leur candidature.

Cet écart met clairement en évidence que plus les entreprises recourent à l’IA, plus la transparence, l’équité et la gestion responsable des risques potentiels de discrimination prennent de l’importance.

Pourquoi l'IA n'est pas automatiquement équitable

On pense souvent que les algorithmes prennent des décisions de manière neutre. En réalité, les systèmes d’IA reposent sur des données – et celles-ci reflètent souvent des schémas sociaux ou internes à l’entreprise déjà existants. Si les données d’apprentissage sont déséquilibrées ou contiennent des discriminations historiques, l’IA peut les reproduire, voire les renforcer. Ce phénomène est appelé « biais ».

Les biais peuvent résulter non seulement des données d’entraînement, mais aussi de la manière dont les systèmes d’IA sont développés, mis en œuvre ou contrôlés. C’est pourquoi le biais n’est pas seulement un problème technique, mais aussi un défi organisationnel et humain.

Un exemple : si une IA est entraînée à partir de données de candidature dans lesquelles, par le passé, ce sont principalement des hommes qui ont été embauchés, le système peut inconsciemment privilégier les candidats masculins. Des risques similaires existent dans le cadre des décisions de promotion, des évaluations de performance ou de la présélection automatisée des candidatures.

La responsabilité de toute discrimination commise par l'IA incombe à l'entreprise

Même si une décision est préparée ou prise par un système d'IA, la responsabilité incombe toujours à l'entreprise. Les employeurs ne peuvent pas invoquer le fait que c'est le logiciel qui a effectué la sélection.

En cas de discrimination fondée sur un critère protégé par la loi – tel que le sexe, l’âge, l’origine ethnique, la religion ou les convictions, le handicap ou l’identité sexuelle –, des recours peuvent être engagés en vertu de la loi générale sur l’égalité de traitement (AGG). À cela s’ajoutent les risques d’atteinte à la réputation, de perte de confiance et, selon le domaine d’application, les exigences réglementaires découlant de la loi européenne sur l’IA (EU AI Act). Celle-ci classe par exemple les systèmes d’IA utilisés dans le recrutement ou pour les décisions relatives au personnel parmi les IA à haut risque et impose à cet égard des exigences particulières en matière de transparence, de qualité des données et de supervision humaine.

Les domaines dans lesquels les entreprises doivent redoubler de vigilance

Toutes les applications d’IA ne présentent pas le même niveau de risque. Les systèmes qui préparent ou influencent des décisions concernant des personnes sont particulièrement sensibles, notamment dans les domaines suivants :

Plus les systèmes d'IA préparent ou influencent les décisions en matière de ressources humaines, plus la transparence, le contrôle humain et les vérifications régulières visant à détecter d'éventuels biais sont importants.

Ce que les entreprises devraient faire dès maintenant

Les entreprises ne doivent pas éviter l'IA, mais elles doivent l'utiliser de manière responsable. Cela implique notamment :

L’aspect humain revêt ici une importance particulière : l’IA peut soutenir la prise de décision, mais ne doit pas la remplacer sans esprit critique.

La sensibilisation reste la meilleure protection

Les biais ne peuvent pas être résolus uniquement par des moyens techniques. Il est essentiel que les collaborateurs, et en particulier les cadres, comprennent comment la discrimination peut résulter de l’IA et quelle est leur responsabilité lors de l’utilisation de tels systèmes.

Les formations sur la loi générale sur l'égalité de traitement (AGG) aident à identifier les risques de discrimination, à porter un regard critique sur les décisions et à promouvoir une utilisation équitable des processus basés sur l'IA. Cela permet de réduire les risques juridiques tout en renforçant une culture d’entreprise où l’égalité des chances et le respect mutuel vont de soi.

Vers l'aperçu des ressources

Nous avons éveillé votre intérêt ?

Demandez à être rappelé dès maintenant - nous vous contacterons dans les plus brefs délais.
Bien entendu, vous pouvez aussi spécifier vos besoins avant de nous contacter !

Bien entendu, vous pouvez aussi nous appeler directement :
+49 211 598810-0