Sesgos en la IA: cuando los algoritmos nos restan oportunidades

¿Qué hubiera sucedido si, en el contexto del coronavirus, la asignación de ayudas económicas fuera determinada en función al número de hijos o en razón a las que son consideradas zonas de pobreza, en lugar de quienes perdieron el empleo como consecuencia de este virus? Los primeros criterios podrían parecer lógicos, pero no necesariamente garantizarían que la ayuda les llegue a los colectivos más vulnerables en la actual coyuntura.

¿Qué sucedería si el financiamiento bancario a empresas se decidiera en relación a si tienes vehículo propio? ¿o si la decisión de contratar a médicos dependiera de si eres hombre o mujer? ¿o si la responsabilidad de brindar atención médica a un paciente enfermo de Covid-19 estuviera a cargo de un miembro del Ku Klux Klan o un neonazista?

Todos parecen escenarios surrealistas, pero -con intencionalidad o no- podrían suceder si dejamos todo en manos de los algoritmos y la inteligencia artificial (IA). Parece mentira que una tecnología, que fue diseñada para coadyuvar a la toma de decisiones predictivas, basándose en el machine learning o aprendizaje automático, de forma eficaz y acertada haya asimilado muchas de las características humanas positivas, como el aprendizaje en base a la experiencia, pero también algunas de las negativas, como nuestros propios sesgos o prejuicios.

Según el último informe de la UNESCO denominado “Dirigir la IA y las tecnologías de la información y comunicación avanzadas para las sociedades del conocimiento” (2019), se ha encontrado el uso de algoritmos de naturaleza discriminatoria contra las mujeres.

Por ejemplo, el estudio “Algoritmos de la opresión” de la profesora asistente de comunicación en la Universidad del Sur de California, Safiya U. Noble, encontró que los algoritmos de búsqueda de Google relacionaban el término “black girls” o chicas negras con páginas de pornografía. En una posterior entrevista la investigadora afirmó que las “asian girls” (chicas asiáticas) o “latin girls”(chicas latinas) también eran objeto de hipersexualización en los motores de búsqueda.

La contratación de mano de obra también ha padecido los sesgos de género. Así, una investigación de Reuters afirma que la inteligencia artificial empleada en el software usado por Amazon entre el 2014 hasta el 2018, asignaba menos puntaje a las mujeres que aspiraban a puestos de desarrolladoras de aplicaciones u otros perfiles técnicos; dado que los algoritmos diseñados para tal fin incluían datos de los procesos de reclutamiento usados en años anteriores y basados en los criterios provenientes de hombres, quienes tienen mayor presencia en el sector tecnológico.

Si bien la brecha de género es un problema más antiguo que la inteligencia artificial, con la asimilación de esta tecnología en la sociedad y la industria el problema se agrava, porque su poder de replicación es mayor.

Elisa Vivas, cofundadora de la agencia de comunicación de datos Story Data, resalta la necesidad de incluir a la mujer en el sector tech: “Si los algoritmos que gobiernan al mundo, los hacen los hombres, entonces solo vamos a hablar de lo que hablan o les interesa a ellos. Si no hay una mujer que decida como van a ser los algoritmos, vamos a entrar a un mundo pensado por ellos.”

Además, Vivas alerta de otro problema existente en el análisis de data, puesto que “las bases de datos muchas veces no tienen la distinción de género porque las hacen hombres, dado que en el campo tecnológico ellos son mayoría”.  Vale resaltar que según datos provistos por las propias GAFAM (acrónimo usado para denominar a las empresas Google, Amazon, Facebook y Microsoft) al 2017 más del 60% de sus jefes globales y más del 70% de sus empleados técnicos son varones.

Otros sectores también se exponen a la introducción de sesgos algorítmicos. Una investigación del medio periodístico independiente ProPublica reveló que el software  COMPAS de la compañía NORTHPOINTE, usado en los juzgados estadounidenses como un sistema de evaluación de criminalidad, que en base a puntuaciones, calificaba la tendencia a delinquir de los acusados, clasificando a las personas de raza negra como de alto riesgo y a las de raza blanca como de menor riesgo, aún cuando algunos de los acusados del segundo grupo tuvieran antecedentes.

El informe de la UNESCO también cita casos del uso de algoritmos de riesgo crediticio, que califican con mayor o menor potencial de riesgo a las personas, en función de su zona geográfica.

El proceso de toma de decisiones de los algoritmos se da en relación a las elecciones que toman los programadores humanos para introducir variables y etiquetas durante estos procesos; así como, al tipo de datos empleados, que pueden incluir prejuicios históricos o sociales, o a tener solo la visión de unos grupos, dejando infrarrepresentados a los demás.

Otro de los problemas que emergen se orienta al uso de algoritmos en la toma de decisiones apoyándose en correlaciones como signo de causalidad, cuando no siempre es así; puesto que pueden conducir a inferencias erróneas. Verbigracia, cuando un hombre soltero busca un regalo para su sobrino e inmediatamente los algoritmos y el machine learning hacen lo suyo y a partir de ese momento la publicidad para papás forma parte de los newsletter que recibirá.

La asignación de las ayudas sociales a colectivos vulnerables también podría afectarse si los criterios y variables de los algoritmos no son correctamente elegidos y analizados. De igual forma, el desarrollo tecnológico sobrepasa las expectativas de los propios profesionales tech, quienes muchas veces no saben como los algoritmos de inteligencia artificial establecen sus predicciones o conclusiones. La metáfora de la caja negra es casi un credo circulando en este sector.

UNESCO y la UE: Preservar los DDHH y vigilar el desarrollo de la IA

Para los organismos mundiales como la UNESCO o la Comisión Europea la inteligencia artificial es un sector clave para el desarrollo de los países y es una herramienta necesaria para las sociedades del conocimiento.

Por el lado de la UNESCO, las recomendaciones apuntan a medidas multidisciplinarias, concibiendo como línea trasversal a los derechos humanos (DDHH) de las personas. Para ello, se destaca la necesidad de implementar regulaciones en el sector público, privado y comunidad tecnológica, además de mecanismos de transparencia y de monitoreo constante de la aplicación de la inteligencia artificial y los algoritmos en todos los sectores, a fin de combatir los sesgos y actos de discriminación, que pudieran derivarse de una mala introducción de estas tecnologías.

En el caso de los medios, resulta vital para el organismo fomentar una mayor capacitación de los periodistas en este campo, a fin de que informen con más herramientas sobre su potencial y amenazas; al igual que una introducción de las tecnologías IA centrada en los derechos humanos de todos. La alfabetización mediática es una medida vital según la UNESCO para formar ciudadanos con un rol más activo en la vigilancia de estas tecnologías y el respeto a los DDHH.

En febrero de este año, la Unión Europea también abordó por medio de su “Libro Blanco sobre la inteligencia artificial” el impacto que tendrá esta tecnología sobre la comunidad europea y mundial. Con una serie de propuestas que hacen énfasis en el carácter complejo y opaco de gran parte de las plataformas de IA, el organismo demanda la necesidad de un registro continuo de los algoritmos y los datos usados para el entrenamiento de los programas de IA, a fin de tener la posibilidad de examinar las metodologías de programación usadas para construir estos sistemas, con el objetivo de evitar sesgos que deriven en actos discriminatorios.

Asimismo, en su informe sobre igualdad de género, presentado en marzo de este año, La Comisión Europea expresó su preocupación sobre como los sesgos algorítmicos propician un acceso desigual de las mujeres a los derechos humanos en comparación con sus pares masculinos. En tal sentido, el organismo europeo denota la necesidad de garantizar sistemas de aprendizaje automático y algoritmos de IA robustos y transparentes, a fin de evitar de la existencia de prejuicios subyacentes en estas tecnologías.

Crisis como el coronavirus han expuesto con mayor crudeza las enormes desigualdades sociales existentes. El problema es que, si tal cuadro nos preocupa, las tecnologías modernas como la inteligencia artificial, que tan maravillados nos tiene con su potencial para prevenir escenarios negativos, como sequías, reincidencia criminal u obtener acertados pronósticos de salud, pueden convertirse en la puerta a una sociedad menos equitativa que la que conocemos y provista de prejuicios que no sabremos detectar a tiempo.

Después de todo, aunque las máquinas carecen de ideología se parecen a nosotros en su capacidad para etiquetar a los demás, calificarlas y prejuzgarlas, en base a sesgos introducidos por otras personas. Habrá que ver, ¿quién está detrás de la pantalla desde donde se programa y qué hay en esa caja negra que nadie puede ver aún?