Faut-il avoir peur de l’IA ? (4/6)

Cet article est issu de la newsletter IA Comprise et reproduit ici par commodité. Recevez toutes les lettres dans votre boîte mail au fur et à mesure de leur publication en laissant votre adresse dans le cadre à droite !


Chère lectrice, cher lecteur,

Dans la précédente lettre, je vous ai parlé du risque posé par la redoutable précision de l’IA alimentée grâce à nos données personnelles.

Mais il existe un pendant à ce risque : celui de croire l’IA trop précise…

Risque n°4 : l’illusion de l’algorithme objectif

Il y a quelques années, une équipe d’ingénieurs d’Amazon à Edinbourg a eu une idée très intéressante sur le principe : développer un outil prédictif pour remplacer les humains dans cette tâche délicate et rébarbative qu’est le tri des CV de candidats [1].

Forte d’un vaste catalogue de CV reçus par Amazon pendant 10 ans (et du succès ou non des candidatures associées), cette équipe a testé et entraîné 500 modèles de machine learning différents pour aboutir à l’outil le plus performant qui soit.

Résultat ? L’algorithme a notamment appris à… pondérer négativement les CV de femmes !

Pourtant, les ingénieurs n’avaient pas directement fourni aux modèles le sexe des candidats. Cela n’a pas empêché l’algorithme d’écarter plus fréquemment les CV avec des termes comme « membre de l’équipe féminine de… ».

Avec le recul, quoi de plus normal… vu que l’immense majorité des personnes recrutées jusqu’ici, qui ont permis d’entraîner le modèle, étaient des hommes ?

Amazon a décidé de ne pas utiliser l’outil [2].

Direction les États-Unis maintenant, où les questions de récidive criminelle font depuis longtemps l’objet de nombreuses attentions. Sans surprise, il s’est trouvé de nombreuses sociétés pour développer des outils algorithmiques dans ce domaine.

L’un de ces logiciels, COMPAS, propose de déterminer la probabilité de récidive d’un condamné à partir de paramètres tels qu’avoir été exclu d’une école dans sa jeunesse ou juger acceptable le fait de voler si l’on est affamé.

Il trouvé son chemin auprès des autorités judiciaires de plusieurs États américains, où il est utilisé depuis de nombreuses années maintenant.

Le taux de succès de COMPAS pour prédire un risque de récidive est similaire pour un Noir ou pour un Blanc. Pourtant, vous vous doutez que si j’en parle ici, c’est qu’il présente quelques problèmes.

Toutes les erreurs ne se valent pas. Il se trouve que COMPAS surestime le taux de récidive si la personne est Noire et le sous-estime si la personne est Blanche [3].

Il ne suffit pas d’être correct dans les mêmes proportions pour ne pas être discriminant !

Un problème de confiance

Ce ne sont que deux exemples parmi tant d’autres.

Est-ce vraiment un problème ?

Après tout, un cynique pourrait objecter que l’humain n’est pas non plus dépourvu de biais.

Pourquoi pointer la discrimination comme un problème spécifique de l’IA quand elle ne fait « seulement » pas mieux que les humains ?

Et s’il se trouve que la réalité est elle-même biaisée dans un sens ou dans un autre, la discrimination ne pourrait-elle pas se justifier ?

Ce sont des questions éminemment politiques auxquelles je ne répondrai pas, précisément parce que leurs réponses sont politiques. Et l’utilisation d’algorithmes cache ces réponses au lieu de les afficher.

Les algorithmes en blouse blanche

Le plus gros problème de l’utilisation des algorithmes dans ce type de situation, c’est l’aura d’objectivité dont ils sont parés, ce que j’appelais les « chiffres en blouse blanche » [4].

C’est ce phénomène qui rend très dangereuse l’idée de leur déléguer la responsabilité de décisions qui devraient revenir à un humain.

Revenons à l’outil prédictif COMPAS.

Son algorithme basé sur 137 paramètres se montrait capable de prévoir une récidive criminelle avec un honorable 65% de succès.

Mais des chercheurs ont montré qu’une classification simple se basant sur l’âge et le nombre de condamnations, soit 2 paramètres, prédisait la récidive avec… 67% de succès.

Pire encore, des humains sans expérience judiciaire particulière étaient capable de prédire la récidive avec à la fois un taux de succès comparable et un biais en fonction de la couleur de peau plus faible que l’algorithme [5].

La slide qui tue [6]

N’importe qui serait parfaitement conscient des limites d’un jugement humain ou d’un modèle simpliste qui ne se base que sur l’âge et le nombre de condamnations antérieures.

Mais un modèle secret, basé sur l’Intelligence Artificielle, qui analyse les réponses à 137 questions, c’est beaucoup plus impressionnant et difficile à contredire, quand bien même il n’est pas plus performant.

Ce n’est pas qu’un problème de performance : d’autres modèles que COMPAS sont effectivement parvenus à de bien meilleures prédictions que des humains [7].

Le problème, c’est que l’on a tendance à parer l’utilisation de l’IA de vertus d’objectivité qu’elle n’a absolument pas : les biais n’ont pas disparu, ils sont simplement intégrés dans les algorithmes, consciemment ou non, par leurs concepteurs.

Et non par les personnes (dirigeants, représentants, élus…) mandatées pour prendre ces décisions et en assumer la responsabilité.

Alors, comment (se) prémunir contre le risque de biais d’autant plus insidieux qu’ils sont difficiles à repérer ?

Il y a trois grandes pistes :

  • Former les ingénieurs en machine learning à l’existence de ce risque et aux bonnes pratiques de conception et de contrôle pour l’encadrer
  • Exiger une transparence des algorithmes utilisés pour des décisions ayant un impact direct sur des personnes, tels que l’emploi, la justice ou l’éducation
  • Et le plus important, familiariser le grand public avec l’IA, ce qu’elle peut et ne peut pas faire, ce qu’on peut lui déléguer et ce qui est hors limite

À vous de jouer !

Erwan


Inscrivez-vous gratuitement pour ne rater aucune lettre !

[1] https://www.businessinsider.fr/us/amazon-built-ai-to-hire-people-discriminated-against-women-2018-10
https://qz.com/1427621/companies-are-on-the-hook-if-their-hiring-algorithms-are-biased/
[2] Pour l’explication détaillée, les ingénieurs n’avaient pas directement fourni aux modèles le sexe des candidats, mais l’algorithme a tout de même appris à sélectionner sur la base de mots de vocabulaire plus fréquemment utilisés par des hommes. Ou moins, comme « membre de l’équipe féminine de… ».
[3] https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
[4] https://www.iacomprise.net/mefiez-vous-des-chiffres-en-blouse-blanche
[5] https://advances.sciencemag.org/content/4/1/eaao5580
[6] https://www.cs.princeton.edu/~arvindn/talks/MIT-STS-AI-snakeoil.pdf
[7] https://news.berkeley.edu/2020/02/14/algorithms-are-better-than-people-in-predicting-recidivism-study-says

Laisser un commentaire

Abonnez-moi à la newsletter