Estudio sobre sesgo por prejuicios en los algoritmos de Twitter revela problemas de edad, idioma y tono de piel

Twitter ha publicado un detallado informe sobre los resultados de su primera investigación sobre a los sesgos por prejuicios de sus algoritmos de inteligencia artificial (IA), que pusieron en evidencia varias áreas en las que sus algoritmos de IA no han sido justos.

Los usuarios incluso ilustraron el problema utilizando fotos del ex presidente de EE.UU. Barack Obama, mostrando que su rostro, y cualquier otro con piel más oscura, fueron recortados de las imágenes que, en cambio, se centraron en los rostros blancos en la misma foto.

Twitter se comprometió a reducir su dependencia del recorte de imágenes basado en aprendizaje de máquina (ML, por su sigla en inglés) y comenzó a aplicar los cambios en mayo de 2021. Un portavoz de Twitter dijo a ZDNet que ha eliminado en su mayor parte el algoritmo principal de su servicio. Pero los miembros de la comunidad de hackers éticos de IA lograron encontrar otros problemas como parte del desafío de recompensa por sesgo algorítmico celebrado este verano.

"Los resultados de sus hallazgos confirmaron nuestra hipótesis: no podemos resolver estos desafíos solos, y nuestra comprensión del sesgo en la IA puede mejorar cuando diversas voces pueden contribuir a la conversación", escribieron Yee y Peradejordi.

"Cuando se construyen sistemas de aprendizaje automático, es casi imposible prever todos los problemas potenciales y garantizar que un modelo sirva a todos los grupos de personas de forma equitativa. Pero más allá de eso, cuando se diseñan productos que toman decisiones automáticas, mantener el statu quo a menudo conduce a reforzar los sesgos culturales y sociales existentes."

Los dos añadieron que el desafío de la recompensa por prejuicios ayudó a Twitter a descubrir una amplia gama de problemas en poco tiempo, señalando que la presentación ganadora "utilizó un enfoque contrafactual para demostrar que el modelo tiende a codificar los estándares de belleza estereotipados, como la preferencia por los rostros más delgados, jóvenes, femeninos y de piel clara".

Otra presentación, que quedó en segundo lugar en la competición, descubrió que el algoritmo de Twitter para imágenes de varias caras casi nunca elige a personas con pelo blanco como la persona más destacada de la foto.

El ganador del tercer puesto examinó los prejuicios lingüísticos en Twitter mostrando las diferencias entre la forma en que el sitio maneja los memes en inglés y los memes en escritura árabe.

Otros dos premios -uno por la presentación más innovadora y otro por la más generalizable- se centraron en cómo el modelo de Twitter prefiere los emojis con piel más clara y cómo añadir relleno alrededor de una imagen puede permitir evitar la función de recorte.

Otras presentaciones mostraron cómo el sistema de aprendizaje automático de Twitter puede afectar a ciertos grupos, como los veteranos, los grupos religiosos, las personas con discapacidad, los ancianos y los que se comunican en lenguas no occidentales.

"A menudo, la conversación en torno al sesgo en ML se centra en la raza y el género, pero como vimos a través de este desafío, el sesgo puede tomar muchas formas. La investigación en el aprendizaje automático justo se ha centrado históricamente en cuestiones occidentales y centradas en los Estados Unidos, por lo que nos inspiró especialmente ver múltiples presentaciones que se centraban en problemas relacionados con el Sur Global", dijeron los dos.

"Los resultados de la investigación sugieren que los sesgos parecen estar incrustados en el modelo de saliencia principal y que estos sesgos suelen aprenderse a partir de los datos de entrenamiento. Nuestro modelo de percepción de rasgos destacados se entrenó con datos de seguimiento ocular humano de código abierto, lo que supone el riesgo de incorporar sesgos conscientes e inconscientes. Dado que la percepción de rasgos destacados es una técnica de procesamiento de imágenes de uso común y que estos conjuntos de datos son de código abierto, esperamos que otros que hayan utilizado estos conjuntos de datos puedan aprovechar la información obtenida de la recompensa para mejorar sus propios productos".

Twitter dijo que incorporará algunos aspectos del concurso a sus propios procesos internos.

Pero en una declaración a ZDNet, Twitter dijo que el objetivo del desafío "no era identificar los cambios adicionales que necesitamos hacer a nuestro producto", sino simplemente "reunir a la comunidad de hackers de inteligencia artificial (IA) ética, recompensarlos por su trabajo y ampliar nuestra comprensión de los tipos de daños y consecuencias no deseadas que este tipo de modelo puede causar potencialmente."

"Lo que aprendimos a través de las presentaciones de este desafío, sin embargo, ayudará a informar cómo pensamos en cuestiones similares en el futuro, y cómo ayudamos a educar a otros equipos en Twitter sobre cómo construir modelos más responsables", dijo el portavoz de Twitter.

Cuando se le preguntó si Twitter organizaría otro programa de investigación de prejuicios, el portavoz dijo que esperan que los programas "sean más impulsados por la comunidad". Instaron a otras empresas a celebrar sus propios programas de "desafíos de sesgo".

"Este reto se inspiró en programas similares dentro del campo de la privacidad y la seguridad. Podemos ver el valor de los enfoques impulsados por la comunidad para comprender y mitigar el sesgo en ML a través de una gama de aplicaciones para cualquier empresa que utilice el aprendizaje automático para tomar decisiones automatizadas", dijo el portavoz de Twitter. "Como compartimos en abril, nuestro equipo de Ética, Transparencia y Responsabilidad de ML (META) está actualmente llevando a cabo una investigación sobre el sesgo de ML en áreas como los modelos de recomendación.