El nuevo modelo de lenguaje de inteligencia artificial de Meta (Facebook) será gratuito y abierto

El laboratorio de inteligencia artificial (IA) de Meta ha creado un nuevo e inmenso modelo de lenguaje que comparte tanto habilidades asombrosas como defectos dañinos de la red neuronal pionera GPT-3 de OpenAI. El detalle sin precedentes en las Big Tech es que la compañía se lo regala a los investigadores junto con los detalles sobre cómo se construyó y entrenó.

“Creemos firmemente en que una parte importante de la investigación pasa por la capacidad de que otros analicen nuestro trabajo. Realmente invitamos a esa colaboración”, indica Joelle Pineau, defensora de la transparencia en el desarrollo tecnológico desde hace mucho tiempo y actual directora general de Meta AI.

La decisión de Meta supone la primera vez en la que un gran modelo de lenguaje completamente entrenado estará disponible para cualquier investigador que quiera estudiarlo. La noticia ha sido bien recibida por muchos expertos que se preocupaban porque pequeños equipos estuvieran construyendo esta poderosa tecnología a puerta cerrada.

“Aplaudo la transparencia del caso”, afirma Emily M. Bender, especialista en lingüística computacional de la Universidad de Washington, que a menudo ha criticado la manera en la que se desarrollan e implementan los modelos de lenguaje. “Es un gran paso”, opina Thomas Wolf, científico jefe de la start-up de IA Hugging Face que está detrás de BigScience, el proyecto en el que más de 1.000 voluntarios de todo el mundo colaboran en un modelo de lenguaje de código abierto. “Cuantos más modelos abiertos haya, mejor”, resalta el experto.

Los grandes modelos de lenguaje (poderosos programas capaces de generar párrafos de texto e imitar una conversación humana) se han convertido en una de las tendencias de IA más populares en los últimos años. Pero tienen defectos importantes. Por ejemplo, repiten la desinformación, los prejuicios y el lenguaje tóxico, como loros.

En teoría, poner a más personas a trabajar en ese problema debería ayudar. Sin embargo, debido a que los modelos de lenguaje requieren de grandes cantidades de datos y poder de cómputo para entrenarse, hasta ahora solo se han destinado proyectos para las empresas tecnológicas más ricas. La comunidad investigadora en general, incluidos los especialistas en ética y los científicos sociales preocupados por su uso indebido han tenido que observar desde fuera lo que hacen esas empresas.

Meta AI asegura que quiere cambiar eso. “Muchos de nosotros hemos sido investigadores universitarios”, señala Pineau. “Conocemos la brecha que existe entre las universidades y la industria en cuanto a la capacidad de construir estos modelos. Poner este modelo a disposición de los investigadores era algo lógico”. Pineau espera que otros estudien minuciosamente su trabajo y lo analicen o construyan sobre él. Los avances llegan más rápido cuando hay más personas involucradas, considera esta investigadora.

Meta ha puesto a disposición su modelo, denominado Open Pretrained Transformer (OPT), para su uso no comercial. También ha hecho público su código y un libro de registro que documenta el proceso de entrenamiento. El libro de registro contiene actualizaciones diarias de los miembros del equipo sobre los datos de entrenamiento: cómo se agregaron al modelo y cuándo, qué funcionó y qué no. En más de 100 páginas de información, los investigadores registran cada error, fallo y reinicio en un proceso de entrenamiento de tres meses desarrollado de manera continua desde octubre de 2021 hasta enero de 2022.

Con 175.000 millones de parámetros (los valores en la red neuronal que se modifican durante el entrenamiento), OPT tiene el mismo tamaño que GPT-3. Se ha hecho así por diseño, según Pineau. El equipo construyó OPT para igualar a GPT-3 tanto en su precisión en las tareas de lenguaje como en su toxicidad. OpenAI ha hecho que GPT-3 esté disponible como un servicio de pago, pero no ha compartido el modelo en sí ni su código. La idea de Meta era proporcionar a los investigadores un modelo de lenguaje similar que se pudiera estudiar, resalta Pineau.

OpenAI rechazó nuestra solicitud de comentarios sobre el anuncio de Meta.

Google, que está explorando el uso de grandes modelos de lenguaje en sus productos de búsqueda, también ha sido criticado por su falta de transparencia. La empresa generó controversia en 2020 cuando expulsó a los principales miembros de su equipo de Ética para IA después de un estudio que había destacado los problemas con esta tecnología.

Choque cultural

Entonces, ¿por qué Meta hace esto? Al fin y al cabo, Meta es una empresa que no ha dado muchas explicaciones sobre cómo funcionan los algoritmos de Facebook e Instagram y tiene la reputación de enterrar hallazgos desfavorables de sus propios equipos de investigación internos. Una gran razón para el enfoque diferente de Meta AI es la propia Pineau, quien lleva varios años presionando por una mayor transparencia en la IA.

Pineau ayudó a cambiar la forma en la que se publican las investigaciones en varias de las conferencias más grandes. Introdujo una lista de verificación de cosas que los investigadores deben enviar junto con sus resultados que incluía el código y los detalles sobre la realización de los experimentos. Desde que se unió a Meta (entonces Facebook) en 2017, ha defendido esa cultu