Les sites de recrutement aggravent la discrimination en matière d’emploi, selon une spécialiste de l’IA

[ad_1]

Chris McGrath/Getty Images

Cathy O’Neil, consultante en sciences des données, aide les entreprises à vérifier leurs algorithmes. Et lorsqu’il s’agit de savoir comment les algorithmes et l’intelligence artificielle (IA) peuvent permettre de biaiser le processus d’embauche, elle estime que le plus gros problème ne se pose même pas aux employeurs eux-mêmes. Une nouvelle loi de l’Illinois qui vise à aider les demandeurs d’emploi à comprendre comment les outils d’IA sont utilisés pour les évaluer lors d’entretiens vidéo a récemment relancé le débat sur le rôle de cet outil dans le recrutement. Mais la consultante, qui est aussi la fondatrice et présidente de O’Neil Risk Consulting & Algorithmic Auditing, estime que la loi s’attaquer trop tard aux préjugés dans ce type de processus.

« Le problème se situe en fait avant que la candidature n’arrive. Il se situe dans le ‘pipeline’ pour faire correspondre les demandeurs d’emploi aux offres », a-t-elle déclaré. Ce « pipeline » commence avec des sites comme LinkedIn, Monster.com, Facebook et ZipRecruiter, où les algorithmes peuvent jouer un rôle important pour déterminer quels candidats voient quelles offres d’emploi, en filtrant ceux qui ne sont pas jugés assez qualifiés. « [Les algorithmes] sont destinés à discriminer, ils essaient de discriminer entre quelqu’un qui va être bon dans ce travail et quelqu’un qui ne sera pas bon pour cette mission », a déclaré Cathy O’Neil, ajoutant que « la question est de savoir si c’est une discrimination légale ou illégale. »

La consultante en sciences des données a beaucoup écrit sur le rôle que jouent les algorithmes dans l’accroissement des inégalités, à la fois dans son livre, « Weapons of Math Destruction » (2017 — non traduit), et sur son blog mathbabe.org. Lors d’un entretien avec Yalayolo Magazine US, elle a parlé de la façon dont les préjugés se manifestent dans le processus d’embauche et de ce que les employeurs — ainsi que les plateformes comme LinkedIn — devraient faire pour les éliminer.

Les outils de recrutement utilisant de l’IA sont loin d’être parfaits

Les lois fédérales, telles que le Civil Rights Act de 1964 et l’Americans with Disabilities Act, interdisent la discrimination en matière d’emploi sur la base de catégories telles que la race, la religion, le sexe, l’origine nationale, le statut de handicap, l’information génétique, etc. Bien que les algorithmes puissent accélérer le processus de réduction du nombre de candidats à un emploi, ils ne sont souvent pas très efficaces pour trouver les plus qualifiés et finissent par filtrer de manière disproportionnée les personnes appartenant à ces mêmes catégories.

« En fait, je ne pense pas que la plupart des algorithmes de recrutement soient si utiles », a estimé Cathy O’Neil, faisant valoir que dans de nombreux cas, ils ne sont pas meilleurs que les « générateurs de nombres aléatoires » pour identifier les candidats qualifiés. En 2018, Amazon, après avoir élaboré un outil basé sur l’IA pour automatiser son recrutement, l’a retiré car il discriminait les femmes. Les chercheurs ont également montré que les outils d’IA qui analysent les entretiens vidéo sont souvent biaisés contre les personnes handicapées.

Mais il n’y a pas que les employeurs qui ont rencontré des problèmes avec les outils de recrutement basés sur l’IA. Le problème se pose également pour les entreprises qui les aident à trouver des candidats. Une étude réalisée en 2019 a montré que les annonces publiées sur Facebook pour des emplois dans des compagnies de taxi — même lorsqu’elles s’adressaient à un large public — étaient vues par un public composé à 75 % de Noirs. Et une enquête menée par ProPublica et le New York Times a révélé que Facebook permettait aux employeurs d’exclure explicitement les utilisateurs en fonction de leur âge.

À lire aussi — Voici les 5 secteurs qui recrutent le plus de cadres

Un problème de données faussées

Il y a plusieurs raisons pour lesquelles les algorithmes peuvent finir par discriminer certains groupes. La première est le problème des « mauvaises données entrantes, mauvaises données sortantes ». Les programmeurs « entraînent » un algorithme en lui montrant un ensemble massif de données historiques. Dans le cas d’un site d’emploi, ils lui montrent des informations sur les candidats passés, lui disant de chercher des modèles parmi les personnes qui ont finalement obtenu un emploi, qu’il utilise ensuite pour identifier les candidats potentiels ayant des qualités similaires. Cela peut toutefois poser problème si l’ensemble de données est déjà faussé.

« S’ils sont formés sur des données historiques, ce qui est le cas de tous, ils seront aussi racistes et sexistes que l’est la société humaine », souligne Cathy O’Neil. C’est exactement ce qui s’est passé dans le cas d’Amazon. Comme ce fut surtout des hommes qui, par le passé, avaient postulé (et obtenu) des emplois dans le passé, l’outil a déterminé que les hommes étaient préférables et a donc pénalisé les candidatures féminines.

La deuxième question est de savoir pourquoi Cathy O’Neil pense que les sites d’emploi biaisés sont particulièrement problématiques : ils prennent en compte des informations qui peuvent ne pas avoir d’incidence sur la capacité d’un candidat à faire un travail, plutôt que de se concentrer uniquement sur les détails pertinents. Des sites comme Facebook, LinkedIn, ZipRecruiter et Monster.com utilisent un large éventail d’informations démographiques pour entraîner leurs algorithmes. Ces derniers aident ensuite à déterminer quelles annonces d’emploi sont affichées pour quels candidats — et quels candidats apparaissent dans les résultats de recherche des recruteurs.

Les entreprises recueillent autant de données que possible parce qu’elles pensent que cela leur donnera « une image plus large de la personne », selon Cathy O’Neil, « alors qu’ils recueillent en réalité toutes sortes d’informations distrayantes et biaisées ». Même si ces informations ne concernent pas explicitement la race ou le sexe d’un candidat, elles peuvent néanmoins conduire à des résultats racistes ou sexistes.

Comment les entreprises et les sites de recrutement peuvent réduire les préjugés

Certains sites d’emploi ont tenté de lutter contre ce problème en ne collectant pas ou en ne considérant pas les informations qui pourraient introduire un biais dans leur algorithme. ZipRecruiter a indiqué à Yalayolo Magazine US dans une déclaration que ses algorithmes ne sont pas autorisés à prendre en compte « les marqueurs explicites (par exemple, l’âge, la race, le sexe, etc.) ou implicites (par exemple, le nom de famille, l’adresse résidentielle spécifique, etc.) d’une catégorie de population qui pourrait être discriminée ». ZipRecruiter empêche également ces modèles de faire la différence entre les sexes dans les titres ou les offres d’emploi.

LinkedIn, dans une déclaration similaire, a déclaré : « Nous détectons de manière proactive les termes potentiellement discriminatoires et examinons/bloquons ces emplois pour qu’ils ne soient pas affichés ». Il exige également des annonceurs publiant des offres d’emploi qu’ils « certifient qu’ils n’utiliseront pas l’annonce pour faire une discrimination fondée sur le sexe ou d’autres caractéristiques protégées ».

À lire aussi — Les services aux entreprises et le commerce ont dopé les créations d’emploi en France l’an dernier

LinkedIn devrait être ‘forcé de prouver qu’il n’aggrave pas les inégalités’

Mais ces mesures ne règlent pas nécessairement le problème, selon Cathy O’Neil. Il ne sera pas convaincant pour vous de dire : « Eh bien, nous ne recueillons pas ces informations, donc nous sommes daltoniens », a-t-elle déclaré. « Il n’y a pas moyen de se débarrasser des indicateurs. Tout est un indicateur de la race car la race affecte tout dans notre pays ». Plutôt que de rendre les outils d’embauche d’IA « daltoniens » en bloquant des points de données explicitement ou implicitement biaisés, Cathy O’Neil penche pour que les entreprises doivent être plus transparentes quant aux informations qu’elles prennent en compte lorsqu’elles filtrent les candidats à l’emploi.

« Nous devrions définir ce que signifie être qualifié et ensuite ignorer d’autres choses », a-t-elle indiqué. Un exemple qu’elle a cité est l’utilisation d' »auditions à l’aveugle » par les grands orchestres, où les préjugés sexistes sont réduits en faisant jouer les auditions derrière un rideau. En décidant que le fait d' »être qualifié » signifiait vraiment « bien jouer », ils ont pu structurer le processus de recrutement de manière à mettre en évidence les qualifications des candidats. Ils ont également fait abstraction d’autres facteurs, comme l’apparence, le nom de famille ou la ville d’origine. « C’est quelque chose qu’aucun de ces algorithmes de recrutement de l’IA ne fait », a pointé du doigt Cathy O’Neil.

À lire aussi — Les 15 métiers les plus recherchés en France selon LinkedIn

Mais sa préoccupation ultime n’est même pas la façon dont ces outils sont conçus, bien que cela reste important. L’idée principale de la consultante est que les entreprises soient plus transparentes sur la façon dont elles font les choses et sur le résultat final. Cela signifie qu’elles doivent continuellement tester leurs algorithmes pour voir quels candidats finissent par obtenir un emploi, puis corriger tout biais indésirable.

Selon Cathy O’Neil, LinkedIn devrait être « forcé de prouver que ce qu’ils font n’aggrave pas les inégalités. » Le réseau social professionnel a fait de petits pas dans cette direction. « Nous nous assurons que notre outil Recruiter offre une représentation équilibrée des sexes, et nous offrons des informations sur le genre dans les rapports, afin que les employeurs puissent comprendre les dynamiques dans leurs filtres d’emploi et de sourcing ». L’entreprise interdit également aux annonceurs de cibler les offres d’emploi en fonction de l’âge.

Le sexe et l’âge ne sont cependant que deux des nombreuses dimensions de la discrimination. Et si LinkedIn et ZipRecruiter ont tous deux déclaré qu’ils ne toléraient aucune discrimination sur leurs plateformes à l’encontre d’une classe protégée (protected class), ils n’ont pas non plus fourni d’informations sur la manière dont ils testent leurs algorithmes pour s’assurer que c’est bien le cas.

Facebook et Monster.com n’ont pour l’heure pas encore répondu aux sollicitations de Yalayolo Magazine US sur les préjugés et l’utilisation d’algorithmes sur leurs plateformes.

Version originale : Tyler Sonnemaker/Yalayolo Magazine US

Lire aussi : Les années 2020 pourraient voir l’IA remplacer des millions d’emplois dans la finance

VIDEO: Voici à quoi ressembleraient les Jeux olympiques s’ils se déroulaient sur la Lune

[ad_2]

Yalayolo Magazine