En la misma medida en que aumentan las habilidades lingüísticas de la IA, también crecen las preocupaciones de los científicos

Los últimos avances de inteligencia artificial (IA) en el ramo tecnológico pueden ser bastante convincentes si se les pregunta qué se siente al ser un ordenador sensible, o tal vez un dinosaurio o una ardilla. Pero no son tan buenos ―y a veces son peligrosamente malos― en el manejo de otras tareas que para los humanos son sencillas.

Por ejemplo, el GPT-3, un sistema controlado por Microsoft que puede generar párrafos de texto de aspecto humano a partir de lo que ha aprendido de una amplia base de datos de libros digitales y escritos en línea. Está considerado como uno de los más avanzados de una nueva generación de algoritmos de IA que pueden conversar, generar texto legible bajo demanda e incluso producir imágenes y vídeos novedosos.

Entre otras cosas, GPT-3 puede redactar casi cualquier texto que se le pida: una carta de presentación para un trabajo de cuidador de zoo, por ejemplo, o un soneto al estilo de Shakespeare ambientado en Marte. Pero cuando el profesor del Pomona College, Gary Smith, le hizo una pregunta sencilla pero sin sentido sobre cómo subir las escaleras, GPT-3 la desbarató.

“Sí, es seguro subir las escaleras con las manos lavadas”, respondió la IA.

Estos potentes sistemas de inteligencia artificial, técnicamente conocidos como “modelos de lenguaje de gran tamaño” porque han sido entrenados con una gran cantidad de texto y otros medios, ya se están incorporando a los chatbots de atención al cliente, a las búsquedas de Google y a las funciones de “autocompletar” del correo electrónico que terminan las frases por ti. Pero la mayoría de las empresas tecnológicas que los han creado han mantenido en secreto su funcionamiento interno, lo que dificulta que la gente de fuera comprenda los fallos que pueden convertirlos en una fuente de desinformación, racismo y otros perjuicios.

“Son muy buenos escribiendo textos con la destreza de los seres humanos”, afirma Teven Le Scao, ingeniero investigador de la startup de IA Hugging Face. “Algo en lo que no son muy buenos es en ser objetivos. Parece muy coherente. Es casi cierto. Pero a menudo se equivoca”.

Esa es una de las razones por las que un equipo de investigadores de IA codirigido por Le Scao ―con ayuda del gobierno francés― lanzó el martes un nuevo modelo lingüístico de gran tamaño que se supone que servirá de antídoto a sistemas cerrados como el GPT-3. El grupo se llama BigScience y su modelo es BLOOM, por BigScience Large Open-science Open-access Multilingual Language Model. Su principal avance es que funciona en 46 idiomas, incluidos el árabe, el español y el francés, a diferencia de la mayoría de los sistemas que se centran en el inglés o el chino.

El grupo de Le Scao no es el único que pretende abrir la caja negra de los modelos lingüísticos de IA. La gran empresa tecnológica Meta, matriz de Facebook e Instagram, también reclama un enfoque más abierto en su intento de ponerse a la altura de los sistemas construidos por Google y OpenAI, la empresa que gestiona la GPT-3.

“Hemos visto anuncio tras anuncio tras anuncio de gente que hace este tipo de trabajo, pero con muy poca transparencia, muy poca capacidad para que la gente mire realmente bajo el capó y eche un vistazo a cómo funcionan estos modelos”, dijo Joelle Pineau, directora general de Meta AI.

La presión competitiva para construir el sistema más elocuente o informativo ―y sacar provecho de sus aplicaciones― es una de las razones por las que la mayoría de las empresas tecnológicas mantienen un estricto control sobre ellos y no colaboran en las normas de la comunidad, dijo Percy Liang, profesor asociado de ciencias de la computación en Stanford que dirige su Centro de Investigación de Modelos de la Fundación.

“Para algunas empresas es su salsa secreta”, dijo Liang. Pero a menudo también les preocupa que la pérdida de control pueda dar lugar a usos irresponsables. A medida que los sistemas de IA son cada vez más capaces de escribir sitios web de consejos de salud, trabajos de fin de curso de secundaria o gritos políticos, la desinformación puede proliferar y será más difícil saber qué viene de un humano o de un ordenador.

Meta acaba de lanzar un nuevo modelo lingüístico denominado OPT-175B que utiliza datos de acceso público, desde los comentarios acalorados de los foros de Reddit hasta el archivo de registros de patentes de EE.UU. y un conjunto de correos electrónicos del escándalo empresarial de Enron. Meta afirma que su apertura sobre los datos, el código y los cuadernos de investigación facilita que los investigadores externos ayuden a identificar y mitigar el sesgo y la toxicidad que recoge al ingerir cómo escriben y se comunican las personas reales.

“Es difícil hacer esto. Nos estamos abriendo a grandes críticas. Sabemos que el modelo dirá cosas de las que no estaremos orgullosos”, afirma Pineau.

Aunque la mayoría de las empresas han establecido sus propias salvaguardias internas para la IA, Liang dijo que lo que se necesita son normas comunitarias más amplias que guíen la investigación y las decisiones, como cuándo liberar un nuevo modelo en la naturaleza.

No ayuda el hecho de que estos modelos requieran tanta potencia de cálculo que sólo las grandes empresas y los gobiernos pueden permitírselos. BigScience, por ejemplo, pudo entrenar sus modelos porque se le ofreció acceso al potente superordenador Jean Zay de Francia, cerca de París.

La tendencia de modelos lingüísticos de IA cada vez más grandes y más inteligentes que podrían ser “preentrenados” en un amplio conjunto de escritos dio un gran salto en 2018 cuando Google presentó un sistema conocido como BERT que utiliza una técnica llamada “transformador” que compara las palabras a través de una oración para predecir el significado y el contexto. Pero lo que realmente impresionó al mundo de la IA fue GPT-3, lanzado por la startup OpenAI, con sede en San Francisco, en 2020 y poco después licenciado en exclusiva por Microsoft.

GPT-3 provocó un boom de experimentación creativa, ya que los investigadores de IA con acceso de pago lo utilizaron como caja de arena para medir su rendimiento, aunque sin información importante sobre los datos con los que se entrenó.

OpenAI ha descrito ampliamente sus fuentes de entrenamiento en un documento de investigación, y también ha informado públicamente de sus esfuerzos para hacer frente a posibles abusos de la tecnología. Pero Thomas Wolf, codirector de BigScience, afirma que no proporciona detalles sobre cómo filtra esos datos ni da acceso a la versión procesada a investigadores externos.

“Así que no podemos examinar realmente los datos que entraron en la formación GPT-3”, dijo Wolf, que también es director científico de Hugging Face. “El núcleo de esta reciente ola de tecnología de IA está mucho más en el conjunto de datos que en los modelos. El ingrediente más importante son los datos y OpenAI es muy, muy reservado sobre los datos que utiliza”.

Wolf dijo que la apertura de los conjuntos de datos utilizados para los modelos lingüísticos ayuda a los humanos a comprender mejor sus sesgos. Un modelo multilingüe entrenado en árabe tiene muchas menos probabilidades de escupir comentarios ofensivos o malentendidos sobre el Islam que uno entrenado sólo con textos en inglés en Estados Unidos, dijo.

Uno de los modelos experimentales de IA más recientes es LaMDA, de Google, que también incorpora el habla y es tan impresionante a la hora de responder a preguntas conversacionales que un ingeniero de Google afirmó que se acercaba a la conciencia, una afirmación que le hizo ser suspendido de su trabajo el mes pasado.

La investigadora de Colorado Janelle Shane, autora del blog AI Weirdness, ha pasado los últimos años probando de forma creativa estos modelos, especialmente el GPT-3, a menudo con efectos humorísticos. Pero para señalar lo absurdo de pensar que estos sistemas son conscientes de sí mismos, recientemente la instruyó para que fuera una IA avanzada pero que secretamente es un tiranosaurio rex o una ardilla.

“Es muy emocionante ser una ardilla. Puedo correr, saltar y jugar todo el día. También puedo comer un montón de comida, lo que es estupendo”, dijo GPT-3, después de que Shane le pidiera una transcripción de una entrevista y le planteara algunas preguntas.

Shane ha aprendido más sobre sus puntos fuertes, como su facilidad para resumir lo que se ha dicho en Internet sobre un tema, y sus puntos débiles, como su falta de capacidad de razonamiento, la dificultad para mantener una idea a lo largo de varias frases y la propensión a ser ofensivo.

“No me gustaría que un modelo de texto diera consejos médicos o actuara como acompañante”, dice. “Es bueno en esa apariencia superficial de significado si no se lee con atención. Es como escuchar una conferencia mientras te quedas dormido”.

Traducido del inglés mediante DeepL, y luego editado.