[PDF] Institut Montaigne Le combat des biais algorithmiques

View - Download Institut Montaigne

Previous PDF

Next PDF

Algorithmes :

contrôle des biais S.V.P.

RAPPORT

MARS 2020

Think tank indépendant créé en 2000, l'Institut Montaigne est une plateforme de ré exion, de propositions et d'expérimentations consacrée aux politiques publiques en France et en Europe. À travers ses publications et les événements qu'il organise, il souhaite jouer pleinement son rôle d'acteur du débat démocratique avec une approche transpartisane. Ses travaux sont le fruit d'une méthode d'analyse et de recherche rigoureuse et critique, ouverte sur les comparaisons internationales. Association à but non lucratif, l'Institut Montaigne réunit des chefs d'entreprise, des hauts fonctionnaires, des universitaires et des personnalités issues d'horizons divers. Ses ?nancemen ts sont exclusivement privés, aucune contribution n'excédant 1,5 % d'un budget annuel de 6,5?millions d'euros.

RAPPORT - MARS 2020

Algorithmes :

contrôle des biais S.V.P. 4 Il n'est désir plus naturelque le désir de connaissance 5

SOMMAIRE

Résumé?: les constats et enjeux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . 8

Résumé : les recommandations

. . . . . . . . . . . . . . . . . . . . . 10

Introduction

. . . . . . . . . . . . . . . . . 14 I. Les algorithmes sont à la fois catalyseurs et inhibiteurs de discriminations . . . 15 A. Les algorithmes sont parfois un remède utile contre les discriminations . . . . . . . . . . . 17 B. Les algorithmes font peser de nouveaux risques sur les discriminations, et le débat français reste in?uencé par des exemples américains . . . . . . . . . . . . . . . . . . . 21 a.

Faut-il avoir peur des algorithmes

. . . . . . . 21 b. Reconstruire le débat français sur l'impact des algorithmes . . . . . . . 23 II. Biais des algorithmes : un problème ancien et complexe . . . . . . . . . . . . . 25 A. Les biais préexistent aux algorithmes et résident principalement dans les données qu'ils utilisent . . . . . . . . . . . . . . . . 25 B. L'algorithme équitable a de multiples dé?nitions contradictoi res ; est-ce aux organisations de choisir laquelle appliquer . . . . . . . . . . . . . . . . . . . 34 a. Pourquoi faut-il parler des équités des algorithmes au pluriel ? . . . . 34 b. Équité des algorithmes, un idéal dif?cile à atteindre . . . . . . . . . . . . . . . . . . . 38 c. Un algorithme à la fois équitable et performant, un équilibre dif?cile . . . . 39 d. Loyauté et neutralité, deux approches complémentaires

à l'équité, mais imparfaites

. . . . . . . . . . . . . . . . . . 41 e. Cas d'usage réel d'un algorithme sans biais pour le recrutement . . . . 42 6

ALGORITHMES : CONTRÔLE DES BIAIS S.V.P.

III. De nombreuses lois existent déjà contre les discriminations, privilégions leur application plutôt que d'envisager de nouveau x textes spéci?ques aux algorithmes . . . . . . . . . . . 44 A.

Les lois contre les discriminations s'appliquent

aux algorithmes . . . . . . . . . . . 45 B. Les lois du numérique existantes limitent la possibilité de biais . . . . . . . 47

Au niveau européen...

. . . . . . . . . . . . . . . . . . . . . . 47 et au niveau national . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 C. Face aux États-Unis, le droit européen et le français développent leurs spéci?cités en matière d'algorithmes 54
D. L'application aux algorithmes du droit existant est aujourd'hui imparfaite et dif?cile . . . . 57

IV. Recommandations

. 59 A. Les propositions que ce rapport a choisi de ne pas retenir . . . . . . . . . . . . . 60

Non proposition 1 :

une loi portant sur les biais des algorithmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

Non proposition 2 :

un contrôle des algorithmes par l'État . . . . . . . . . . 62 B. Prévenir les biais en répandant des bonnes pratiques et des efforts de formation pour tous ceux qui produisent ou utilisent des algorithmes . . . . . . . . . . . . . . . . . . . . . 63

Proposition 1 :

déployer des bonnes pratiques pour prévenir la diffusion de biais algorithmiques (chartes internes, diversité des équipes) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Proposition 2 :

former les techniciens et ingénieurs aux risques de biais et améliorer la connaissance citoyenne des risques et opportunités de l'IA . . . . . . . . . . . . . . . . . . . . . . 69 C. Donner à chaque organisation les moyens de détecter et combattre les biais de ses algorithmes . 73

Proposition 3 :

tester les algorithmes avant utilisation en s'inspirant des études cliniques des médicaments . . . . . . . . . . . . . . . . . . . . 73

Proposition 4 :

adopter une démarche d'équité active autorisant l'usage de variables sensibles dans le strict but de mesurer les biais et d'évaluer les algorithmes . . . . . . . . 75 7

Proposition 5 :

mettre à disposition des bases de données de test publiques pour permettre aux entreprises d'évaluer les biais de leur méthodologie . . . . . . . . . . . . . . . . . 78 D. Évaluer les algorithmes à fort impact pour limiter leurs risques . . . . . . . . . . . . . . . 79

Proposition 6 :

être plus exigeant pour les algorithmes

à fort impact

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

Proposition 7 :

soutenir l'émergence de labels pour renforcer la con?ance du citoyen dans les usages critiques et accélérer la diffusion des algorithmes béné?ques . . . . 85

Proposition 8 :

développer une capacité d'audit des algorithmes

à fort impact

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

Conclusion

. . . . . . . . . . . . . . . . . . 91

SOMMAIRE

8 Malgré le risque de biais dans certains cas, les algorithmes sont, à bien des égards, un progrès en matière de lutte contre les discriminations. Les hommes et les femmes portent régulièrement, bien que parfois inconsciemment, des jugements biaisés. Ils sont inconstants dans leurs décisions.

Utiliser un algo

rithme revient à formaliser des règles applicables à tous, à en mesurer les résultats et donc à se donner les moyens d'assurer l'absence de biais. Les biais algorithmiques conduisant à des discriminations sont rarement dus à un code erroné de l'algorithme. Les données, incomplètes, de mauvaise qualité, ou re?étant les biais présents dans la société, sont bien plus souvent à l'origine de ces biais. Le combat des biais algorithmiques est donc a vant tout un combat contre des discriminations déjà existantes au quotidien. L'enjeu n'est pas seulement de produire des algorithmes équitables mais aussi de réduire les discriminations dans la société.

Ce combat est dif?cile à plusieurs égards.

Tout d'abord,

dé?nir ce que serait un algorithme sans biais est complexe. Certains biais sont volontaires, comme le fait de promouvoir les boursiers dans le cursus scolaire. D'autres biais sont inconscients, et conduisent à discriminer certains groupes. Un algorithme traitant les individus de manière équitable s'approche d'un algo rithme sans biais indésirable, sans pour autant le garantir.

Le détour par l'équité

ne clôt pourtant pas le débat, car l'équité d'un algorithme peut prendre des formes multiples. L'appréciation de ce qui est juste comporte une dimension culturelle et morale. L'attitude équitable ne sera pas la même selon qu'on parle d' un algorithme d'analyse de radiographie des poumons ou de recommandation de

publicités politiques. L'équité totale entre individus et l'équité totale entre groupes

sont mathématiquement incompatibles. Il y aura toujours des choix à faire, des choix de société, des choix politiques.

RÉSUMÉ

LES CONSTATS ET ENJEUX

9 Ensuite, corriger un algorithme pour le rendre équitable, c'est souvent réduire sa performance. Lorsqu'on développe un algorithme, on choisit une ou plusieurs métriques qui permettent de l'optimiser et d'év aluer s'il remplit bien sa tâche. Ces métriques dé?nissent sa performance. Ajouter une contrainte, c'est limiter la capacité d'optimiser l'algorithme vis-à-vis de son critère de per formance initial. Il est toujours plus dif?cile de poursuivre plusieurs buts à la fois plutôt qu'un seul. Il sera donc complexe et coûteux pour de nombreux acteursquotesdbs_dbs46.pdfusesText_46

[PDF] Le role d'un narrateur

[PDF] Le rôle d'un syndicat

[PDF] le role de l oral dans l enseignement

[PDF] le role de l' allemagne nazie pendant la seconde guerre mondiale

[PDF] Le role de l'adn (Cyberpro)

[PDF] Le Role de l'allemagne nazie pendant la seconde guerre mondiale

[PDF] le rôle de l'art

[PDF] Le Rôle de l'Etat contre les pratiques anticoncurrentielles

[PDF] Le rôle de l'état dans l'ensiegnement

[PDF] Le rôle de l'état qui a permis aux mineur de carmaux de voir leurs droits respectes

[PDF] Le rôle de l'hémoglobine

[PDF] le role de l'information

[PDF] le rôle de l'onu de 1945 à nos jours

[PDF] le role de l'administration

[PDF] le role de l'agriculture dans le developpement economique au maroc