Algoritmos sin marcar; Sesgo y desconfianza
Cada vez más, el trabajo dentro de los gobiernos se realiza mediante algoritmos. Pueden analizar grandes cantidades de datos, identificar patrones y tomar decisiones en una fracción de segundo basándose en esos patrones. En teoría, esto debería aumentar la eficiencia, evitar errores humanos y sesgos, y hacer que todos los procesos sean más ágiles.
Pero, sin acceso a esos algoritmos y sin conocimientos técnicos avanzados, el trabajo realizado por ellos está efectivamente oculto a las comunidades a las que están destinados. Para la persona promedio, puede ser difícil entender cómo los algoritmos los impactan. Esto significa que los algoritmos prácticamente evaden la supervisión democrática y, en última instancia, alimentan un círculo vicioso que dificulta (re) establecer la confianza.
Debido a que los algoritmos administrados por computadora generalmente se consideran objetivos, racionales y no motivados ideológicamente, puede ser fácil olvidar que pueden ser tan sesgados como las personas que los crearon o los datos en los que se basan. Sin un esfuerzo sostenido para estar atento a posibles sesgos, confiar en la toma de decisiones algorítmicas puede perpetuar los prejuicios sociales. En Nueva Zelanda, esto afecta particularmente a la población indígena maorí, que lucha por ser reconocida por algoritmos. Esto ha dado lugar a casos de identificación falsa cuando los algoritmos de reconocimiento facial utilizados por la policía no se han desarrollado en rostros maoríes. También hay una serie de preocupaciones culturales y espirituales específicas sobre la captura, difusión y retención no supervisadas de datos de mapas faciales. Sin incluir a los maoríes en el desarrollo y uso de estas tecnologías, no existen regulaciones para proteger las creencias culturales maoríes. Las consecuencias de que los algoritmos se ejecuten sin control pueden tener consecuencias muy graves para las personas que dejan fuera de los procesos de desarrollo e implementación. Este sesgo no se limita de ninguna manera a los algoritmos de reconocimiento facial, pero es un ejemplo ilustrativo útil.
Adopción de medidas para guiar el uso del algoritmo
Nueva Zelanda, así como varios otros miembros de OGP, ahora están utilizando sus planes de acción para promover la transparencia, participación y responsabilidad de los algoritmos gubernamentales. En el plan de acción de Nueva Zelanda, hay algunos elementos diferentes que, en conjunto, deberían hacer que los algoritmos sean más accesibles y fáciles de entender para el público.
En julio de 2020, el gobierno de Nueva Zelanda colaboró con una serie de partes interesadas de la sociedad civil para implementar la Carta de algoritmos para Aotearoa Nueva Zelanda, que regula algoritmos que impactan directamente a grupos o individuos. La Carta tiene una serie de requisitos: los algoritmos deben explicarse en un inglés sencillo, las comunidades relevantes deben participar y que se divulgue su uso y manejo de los datos. Además, se debe mantener la supervisión y la responsabilidad humanas para que se comprendan y gestionen las limitaciones y los sesgos de los datos, y se salvaguarden la privacidad, la ética y los derechos humanos. Una buena orientación, supervisión y transparencia hace que sea más fácil para los neozelandeses confiar en que, cuando el gobierno utiliza algoritmos, tienen intenciones claras que se cumplen, con consecuencias mínimas no deseadas.
Habiendo aumentado la transparencia, abordar el sesgo algorítmico es el siguiente tema clave. Para ello, el gobierno trabaja en estrecha colaboración con el Data Iwi Leaders Group, que está formado por líderes indígenas en el sector de datos. Reconociendo que los algoritmos pueden perpetuar el sesgo, cooperan para encontrar formas de contrarrestarlo. Una medida clave es la capacitación en ética de datos para funcionarios públicos, que ayuda a gestionar los riesgos y definir responsabilidades.
La carta del algoritmo sigue siendo voluntaria por ahora
El enfoque de Nueva Zelanda hacia los algoritmos se basa en un compromiso público de las agencias gubernamentales. Al igual que con cualquier enfoque voluntario, uno de los desafíos es que no todas las agencias se han comprometido completamente a implementar la carta. También existen desafíos en cuanto a capacitar a los funcionarios en el uso de algoritmos, ayudarlos a actualizarlos y refinarlos, y a generar conciencia y participación de la comunidad en su uso. El hecho de que muchos de estos cambios tecnológicos estén ocurriendo antes de que los respectivos marcos legales estén completamente establecidos hace que el desafío sea más complejo, y también más urgente.
Si bien la carta de algoritmos de Nueva Zelanda es un paso adelante en la lucha por la transparencia de los datos, la adopción ha sido lenta. Esto se debe en gran parte a que la participación voluntaria en la carta significa que no ha habido mucha presión o urgencia para que muchas agencias gubernamentales la implementen. Los pasos futuros para incentivar la participación podrían, por ejemplo, incluir un mandato de que todos los algoritmos utilizados por el gobierno deben ser accesibles al público. Esto podría acelerar el proyecto de hacer que el uso de algoritmos sea más abierto y ampliamente comprendido, y brindarle a la gente de Nueva Zelanda las herramientas para decidir cómo les afectan los algoritmos.
