Así es como la Inteligencia Artificial detecta el lenguaje de odio en Facebook

Las redes sociales son un medio para poder expresarnos. Sin embargo hay mensajes que violan las políticas de comunidad de las plataformas y no deben ser promovidos. Sería un reto prácticamente imposible lograr que los empleados de una compañía revisaran cada post para detectar y eliminar contenido dañino, es por ello que Facebook decidió implementar un sistema de Inteligencia Artificial (IA). 

Hace unos días, la compañía dio a conocer su más reciente Informe de Cumplimiento de Normas Comunitarias y, como parte de ello, explicó cómo la implementación de tecnología con aprendizaje automático ha ayudado a proteger a sus usuarios del contenido dañino. 

“Miles de millones de usuarios usan nuestras plataformas, motivo por el que confiamos en la IA para ampliar nuestra capacidad de revisión de contenido y automatizar las decisiones cuando sea posible”, informó la empresa. 

Es así que, con la ayuda de un sistema de IA, aseguran ser capaces de detectar de manera rápida y precisa el lenguaje que incita al odio, la información errónea y todas las demás formas de contenido que infringen sus políticas, en todos los idiomas y comunidades del mundo.

“Hemos conseguido mejoras reales y actualmente nuestros sistemas automatizados se usan como primera opción para revisar más contenido por cualquier tipo de infracción. La IA ya detecta de forma proactiva 94.7% del lenguaje que incita al odio y que eliminamos de Facebook, una mejora en comparación con 80.5% de hace un año y con el 24% de 2017”, explicó la empresa.

Aunque la compañía aceptó que para alcanzar su objetivo necesitarán muchos más avances técnicos en materia de IA, destacaron que recientemente incorporaron nuevos sistemas que han mejorado su capacidad para detectar lenguaje que incita al odio, por ejemplo, el optimizador de integridad reforzada, un sistema que aprende de ejemplos y resultados del mundo real, que se apoya de su arquitectura de IA de Linformer, que permite usar modelos innovadores de comprensión del lenguaje.

No solo lenguaje de odio 

Los sistemas automatizados de Facebook también han demostrado su capacidad para combatir información falsa.

Entre las herramientas que usan para ello está SimSearchNet, un instrumento de comparación de imágenes que analiza para la detección de falsificaciones que, además, puede aprender y adaptarse con el tiempo.

“En conjunto, todas estas innovaciones permiten que nuestros sistemas de IA puedan comprender mucho mejor el contenido que procesan. Ahora mismo, están más sensibilizadas con el contenido que las personas comparten en nuestras plataforma, de forma que se puedan adaptar rápidamente cuando aparezca un nuevo meme o foto y estos se viralicen”, señaló Facebook.

Y es que la detección de cierto lenguaje no tiene demasiada complicación para ser señalado por una IA o por los humanos. Sin embargo, en las redes sociales a menudo se utiliza una combinación de texto e imágenes lo que dificulta la tarea de determinar si existe una intención de ofender. Además, el lenguaje que incita al odio también puede disfrazarse con sarcasmo o con imágenes aparentemente inofensivas.

Ante lo anterior la propuesta de Facebook es implementar un nuevo marco de aprendizaje reforzado al que llama “Optimizador de Integridad Reforzada” (RIO, por sus siglas en inglés) que usa datos de Internet, del mundo real y de sus sistemas de producción para optimizar los modelos de IA que detectan publicaciones que violan sus normas. 

La compañía resaltó que su tecnología funciona tanto en Facebook como en Instagram en diferentes regiones de todo el mundo en  donde es capaz de entender los distintos tipos de infracción, las modalidades e incluso el momento de publicación del contenido. “Nuestra última versión está entrenada con más datos en general. Y también, usamos aprendizaje autosupervisado de las publicaciones para crear una representación universal pre-entrenada del contenido para evitar problemas de integridad”.

Facebook aceptó que sus esfuerzos no solo deben estar encaminados a detectar los problemas, sino evitar los errores, es decir, que no se clasifique contenido por equivocación para no coartar la capacidad de las personas de expresarse.

“Aunque constantemente mejoramos nuestras herramientas de IA, están lejos de ser perfectas. Sabemos que queda trabajo por hacer y estamos diseñando y probando nuevos sistemas que nos ayudarán a proteger mejor a las personas que usan nuestras plataformas”.