Algorithmes non cochés ; Biais et méfiance
De plus en plus, le travail au sein des gouvernements se fait désormais par des algorithmes. Ils peuvent analyser d'énormes quantités de données, identifier des modèles et prendre des décisions en une fraction de seconde en fonction de ces modèles. En théorie, cela devrait augmenter l'efficacité, éviter les erreurs humaines et les biais, et rationaliser tous les processus.
Mais, sans accès à ces algorithmes et sans connaissances techniques avancées, le travail qu'ils effectuent est effectivement caché aux communautés qu'ils sont censés servir. Pour la personne moyenne, il peut être difficile de comprendre comment les algorithmes les affectent. Cela signifie que les algorithmes échappent pratiquement au contrôle démocratique, alimentant finalement un cercle vicieux qui rend difficile le (r)établissement de la confiance.
Parce que les algorithmes administrés par ordinateur sont généralement considérés comme objectifs, rationnels et non motivés idéologiquement, il peut être facile d'oublier qu'ils peuvent être tout aussi biaisés que les personnes qui les ont créés ou les données sur lesquelles ils s'appuient. Sans un effort soutenu pour rechercher les biais potentiels, s'appuyer sur la prise de décision algorithmique peut perpétuer les préjugés sociétaux. En Nouvelle-Zélande, cela affecte particulièrement la population autochtone maorie, qui peine à se faire reconnaître par les algorithmes. Cela a conduit à des cas de fausse identification lorsque les algorithmes de reconnaissance faciale utilisés par la police n'ont pas été développés sur les visages maoris. Il existe également un certain nombre de préoccupations culturelles et spirituelles spécifiques concernant la capture, la diffusion et la conservation non supervisées des données de cartographie faciale. Sans inclure les Maoris dans le développement et l'utilisation de ces technologies, il n'y a pas de réglementation pour protéger les croyances culturelles maories. Les conséquences des algorithmes exécutés sans contrôle peuvent avoir des conséquences très graves pour les personnes qu'ils excluent des processus de développement et de déploiement. Ce biais n'est en aucun cas limité aux algorithmes de reconnaissance faciale, mais c'est un exemple illustratif utile.
Agir pour guider l'utilisation des algorithmes
La Nouvelle-Zélande, ainsi que plusieurs autres membres de l'OGP, utilisent désormais leurs plans d'action pour faire progresser la transparence, la participation et la responsabilité des algorithmes gouvernementaux. Dans le plan d'action de la Nouvelle-Zélande, il y a quelques éléments différents qui, pris ensemble, devraient rendre les algorithmes plus accessibles et plus faciles à comprendre pour le public.
En juillet 2020, le gouvernement de la Nouvelle-Zélande a collaboré avec un certain nombre d'acteurs de la société civile pour mettre en œuvre le Charte d'algorithme pour Aotearoa Nouvelle-Zélande, qui régule les algorithmes ayant un impact direct sur les groupes ou les individus. La Charte a un certain nombre d'exigences : les algorithmes doivent être expliqués dans un anglais simple, les communautés concernées doivent être impliquées et leur utilisation et leur traitement des données doivent être divulgués. De plus, la surveillance et la responsabilité humaines doivent être maintenues afin que les limites et les biais des données soient compris et gérés, et que la confidentialité, l'éthique et les droits de l'homme soient protégés. De bons conseils, une surveillance et une transparence permettent aux Néo-Zélandais de croire plus facilement que, lorsque le gouvernement utilise des algorithmes, ils ont des intentions claires qui sont respectées, avec un minimum de conséquences imprévues.
Avec une transparence accrue, la lutte contre les biais algorithmiques est le prochain problème clé. Pour ce faire, le gouvernement travaille en partenariat étroit avec le Data Iwi Leaders Group, composé de leaders autochtones du secteur des données. Reconnaissant que les algorithmes peuvent perpétuer le biais, ils coopèrent afin de trouver des moyens de le contrer. Une mesure clé est la formation à l'éthique des données pour les fonctionnaires, qui aide à gérer les risques et à définir les responsabilités.
La charte des algorithmes reste volontaire pour le moment
L'approche néo-zélandaise des algorithmes repose sur un engagement public des agences gouvernementales. Comme pour toute approche volontaire, l'un des défis est que toutes les agences ne se sont pas pleinement engagées à mettre en œuvre la charte. Il existe également des défis liés à la formation des responsables à l'utilisation des algorithmes, à leur mise à jour et à leur affinement, ainsi qu'à la sensibilisation et à l'engagement de la communauté dans leur utilisation. Le fait que bon nombre de ces changements technologiques se produisent avant que les cadres juridiques respectifs ne soient pleinement établis rend le défi plus complexe – et aussi plus urgent.
Alors que la charte des algorithmes de la Nouvelle-Zélande est un pas en avant dans la lutte pour la transparence des données, l'adoption a été lente. C'est en grande partie parce que la participation volontaire à la charte signifie qu'il n'y a pas eu beaucoup de pression ou d'urgence pour que beaucoup d'agences gouvernementales la mettent en œuvre. Les prochaines étapes pour inciter à la participation pourraient, par exemple, inclure un mandat selon lequel tous les algorithmes utilisés par le gouvernement doivent être rendus accessibles au public. Cela pourrait accélérer le projet de rendre l'utilisation des algorithmes plus ouverte et plus largement comprise, et donner aux Néo-Zélandais les outils nécessaires pour décider de la manière dont les algorithmes les affectent.
