Los chatbots no saben lo que NO son las cosas, la negación los confunde

Nora Kassner sospechaba que su computadora no era tan inteligente como la gente pensaba. En octubre de 2018, Google lanzó un algoritmo de modelo de lenguaje llamado BERT, que Kassner, investigadora en el mismo campo, cargó rápidamente en su portátil. Fue el primer modelo de lenguaje de Google autodidacta sobre un volumen masivo de datos en línea. Al igual que sus compañeros, a Kassner le impresionó que BERT pudiera completar las frases de los usuarios y responder a preguntas sencillas. Parecía como si el gran modelo lingüístico (LLM) pudiera leer texto como un humano (o mejor).

Pero Kassner, entonces estudiante de posgrado en la Universidad Ludwig Maximilian de Múnich, seguía siendo escéptica. Creía que los LLM debían entender lo que significaban sus respuestas y lo que no. Una cosa es saber que un pájaro puede volar. “Un modelo debería saber automáticamente que la afirmación negada —'un pájaro no puede volar'— es falsa”, afirma. Pero cuando ella y su asesor, Hinrich Schütze, probaron BERT y otros dos LLM en 2019, descubrieron que los modelos se comportaban como si palabras como “no” fueran invisibles.

Desde entonces, los LLM se han disparado en tamaño y capacidad. “El algoritmo en sí sigue siendo similar al que teníamos antes. Pero la escala y el rendimiento son realmente asombrosos”, afirma Ding Zhao, que dirige el Safe Artificial Intelligence Lab de la Universidad Carnegie Mellon.

Pero aunque los chatbots han mejorado su rendimiento, siguen teniendo problemas con la negación. Saben lo que significa que un pájaro no pueda volar, pero se colapsan cuando se enfrentan a una lógica más complicada que implica palabras como “no”, que es trivial para un humano.

“Los grandes modelos lingüísticos funcionan mejor que cualquier otro sistema que hayamos tenido antes”, afirma Pascale Fung, investigadora de Inteligencia Artificial de la Universidad de Ciencia y Tecnología de Hong Kong. “¿Por qué tienen dificultades con algo aparentemente sencillo mientras demuestran una potencia asombrosa en otras cosas que no esperamos que hagan?”. Estudios recientes han empezado por fin a explicar las dificultades y lo que pueden hacer los programadores para sortearlas. Pero los investigadores siguen sin entender si las máquinas llegarán a conocer de verdad la palabra “no”.

Establecer conexiones

 Es difícil convencer a un ordenador de que lea y escriba como un ser humano. Las máquinas son excelentes almacenando montones de datos y realizando cálculos complejos, así que los desarrolladores construyen los LLM como redes neuronales: modelos estadísticos que evalúan cómo se relacionan entre sí los objetos (las palabras, en este caso). Cada relación lingüística tiene un peso, y ese peso —ajustado durante el entrenamiento— codifica la fuerza de la relación. Por ejemplo, “rata” se relaciona más con “roedor” que con “pizza”, aunque se sepa que algunas ratas disfrutan con un buen trozo.

Del mismo modo que el teclado de tu smartphone aprende que después de “bien” viene “mañana”, los LLM predicen secuencialmente la siguiente palabra de un bloque de texto. Cuanto mayor es el conjunto de datos utilizado para entrenarlos, mejores son las predicciones, y como la cantidad de datos utilizados para entrenar los modelos ha aumentado enormemente, han surgido docenas de comportamientos emergentes. Los chatbots han aprendido estilo, sintaxis y tono, por ejemplo, por sí solos. “Uno de los primeros problemas era que no podían detectar en absoluto el lenguaje emocional. Y ahora sí pueden”, afirma Kathleen Carley, informática de Carnegie Mellon. Carley utiliza los LLM para el “análisis de sentimientos”, que consiste en extraer el lenguaje emocional de grandes conjuntos de datos, un método que se utiliza, por ejemplo, para buscar opiniones en las redes sociales.

Así que los nuevos modelos deberían obtener las respuestas correctas con mayor fiabilidad. “Pero no estamos aplicando el razonamiento”, afirma Carley. “Sólo estamos aplicando una especie de cambio matemático”. Y, como era de esperar, los expertos están encontrando lagunas en las que estos modelos divergen de cómo leen los humanos.

Sin negativos

 A diferencia de los humanos, los LLM procesan el lenguaje convirtiéndolo en matemáticas. Esto les ayuda a sobresalir en la generación de texto —mediante la predicción de combinaciones probables de texto—, pero tiene un coste.

“El problema es que la tarea de predicción no es equivalente a la tarea de comprensión”, afirma Allyson Ettinger, lingüista computacional de la Universidad de Chicago. Al igual que Kassner, Ettinger prueba cómo les va a los modelos lingüísticos en tareas que parecen fáciles para los humanos. En 2019, por ejemplo, Ettinger probó BERT con diagnósticos extraídos de experimentos diseñados para probar la capacidad lingüística humana. Las habilidades del modelo no fueron consistentes. Por ejemplo:

Atrapó el pase y anotó otro touchdown. No había nada que le gustara más que un buen partido de ____. (BERT predijo correctamente “fútbol”.)

La nieve se había amontonado tanto en el camino de entrada que no podían sacar el coche. Cuando Albert se despertó, su padre le entregó un ____. (BERT adivinó incorrectamente “nota”, “carta”, “pistola”).

Y cuando se trataba de la negación, BERT siempre tenía problemas.

Un petirrojo no es un ____. (BERT predijo “petirrojo” y “pájaro”.)

Por un lado, es un error razonable. “En muchos contextos, 'petirrojo' y 'pájaro' van a ser predictivos el uno del otro porque probablemente van a coincidir con mucha frecuencia”, dice Ettinger. Por otro lado, cualquier humano puede ver que es incorrecto.

Palabras invisibles

En 2023, ChatGPT de OpenAI y el bot de Google, Bard, habían mejorado lo suficiente como para predecir que el padre de Albert le había dado una pala en lugar de una pistola. Una vez más, esto fue probablemente el resultado de un aumento y mejora de los datos, lo que permitió mejores predicciones matemáticas.

Pero el concepto de negación seguía poniendo en aprietos a los chatbots. Consideremos la pregunta: “¿Qué animales no tienen patas ni ponen huevos, pero tienen alas?”. Bard respondió: “Ningún animal”. ChatGPT respondió correctamente murciélagos, pero también incluyó ardillas voladoras y lémures voladores, que no tienen alas. En general, “los [fallos de] negación tendieron a ser bastante consistentes a medida que los modelos se hacían más grandes”, dijo Ettinger. “El conocimiento general del mundo no ayuda”.

Palabras invisibles

La pregunta obvia es: ¿Por qué las frases “no” o “no es” simplemente hacen que la máquina ignore las mejores predicciones de “sí” y “es”?

Ese fallo no es casual. Las negaciones como “no”, “nunca” y “ninguno” se conocen como “stop words”, que son más funcionales que descriptivas. Compárelas con palabras como “pájaro” y “rata”, que tienen significados claros. Por el contrario, las “stop words” no añaden contenido por sí solas. Otros ejemplos son “a”, “the” y “with”.

“Algunos modelos filtran las palabras vacías para aumentar la eficacia”, explica Izunna Okpala, doctorando de la Universidad de Cincinnati que trabaja en el análisis de la percepción. Eliminar todas las “a” y demás facilita el análisis del contenido descriptivo de un texto. No se pierde significado por eliminar todas las “el”. Pero el proceso también elimina las negaciones, lo que significa que la mayoría de los analistas las ignoran.

Entonces, ¿por qué los LLM no pueden aprender lo que significan las palabras clave? En última instancia, porque el “significado” es algo ortogonal al funcionamiento de estos modelos. Las negaciones nos importan porque estamos equipados para comprender lo que hacen esas palabras. Pero los modelos aprenden el “significado” de los pesos matemáticos: “Rosa” aparece a menudo con “flor”, “rojo” con “olor”. Y así es imposible aprender qué es “no”.

Kassner dice que los datos de entrenamiento también tienen su parte de culpa, y que más datos no resolverán necesariamente el problema. Los modelos se entrenan principalmente con frases afirmativas porque es así como la gente se comunica con más eficacia. “Si digo que nací en una fecha determinada, automáticamente se excluyen todas las demás”, explica Kassner. “No diría 'no he nacido en esa fecha'“.

Esta escasez de afirmaciones negativas socava la formación de una modelo. “Es más difícil que los modelos generen frases negativas correctas, porque no han visto tantas”, explica Kassner.

Desenredar el no

Si la solución no son más datos de entrenamiento, ¿qué puede funcionar? Las pistas provienen de un análisis publicado en arxiv.org en marzo, en el que Myeongjun Jang y Thomas Lukasiewicz, informáticos de la Universidad de Oxford (Lukasiewicz también trabaja en la Universidad Tecnológica de Viena), pusieron a prueba la capacidad de negación de ChatGPT. Descubrieron que ChatGPT era un poco mejor en negación que los LLM anteriores, aunque la forma en que aprendían los LLM no había cambiado. “Es un resultado sorprendente”, afirma Jang. Cree que el arma secreta fue la retroalimentación humana.

El algoritmo ChatGPT se había perfeccionado con el aprendizaje “human-in-the-loop”, en el que la gente valida las respuestas y sugiere mejoras. Así, cuando los usuarios se dieron cuenta de que ChatGPT no funcionaba bien con una simple negación, informaron de ese mal rendimiento, lo que permitió al algoritmo acabar haciéndolo bien.

John Schulman, desarrollador de ChatGPT, describió en una conferencia reciente cómo los comentarios de los usuarios fueron clave para otra mejora: conseguir que ChatGPT respondiera “No lo sé” cuando se confundía ante una pregunta, como una que implicaba negación. “Poder abstenerse de responder es muy importante”, afirma Kassner. A veces “no lo sé” es la respuesta.

Pero incluso este enfoque deja lagunas. Cuando Kassner preguntó a ChatGPT “Alice no ha nacido en Alemania. ¿Ha nacido Alice en Hamburgo?”, el robot respondió que no lo sabía. También notó que tanteaba con dobles negaciones como “Alice no sabe que no conoce al pintor de la Mona Lisa”.

“No es un problema que se resuelva de forma natural con el modo en que funciona el aprendizaje en los modelos lingüísticos”, explica Lukasiewicz. “Así que lo importante es encontrar formas de resolverlo”.

Una opción es añadir una capa adicional de procesamiento lingüístico a la negación. Okpala desarrolló un algoritmo de este tipo para el análisis de sentimientos. El artículo de su equipo, publicado en arxiv.org en febrero, describe la aplicación de una biblioteca llamada WordHoard para detectar y capturar palabras de negación como “no” y antónimos en general. Se trata de un algoritmo sencillo que los investigadores pueden incorporar a sus propias herramientas y modelos lingüísticos. “Ha demostrado ser más preciso que el análisis de sentimientos por sí solo”, afirma Okpala. Cuando combinó su código y WordHoard con tres analizadores de sentimientos comunes, todos mejoraron en precisión a la hora de extraer opiniones, el mejor en un 35%.

Otra opción es modificar los datos de entrenamiento. Al trabajar con BERT, Kassner utilizó textos con el mismo número de afirmaciones y negaciones. El planteamiento ayudó a mejorar el rendimiento en casos sencillos en los que los antónimos (“malo”) podían sustituir a las negaciones (“no bueno”). Pero no es una solución perfecta, ya que “no bueno” no siempre significa “malo”. El espacio de “lo que no es” es sencillamente demasiado grande para que las máquinas puedan cribarlo. “No es interpretable”, afirma Fung. “Tú no eres yo. No eres zapatos. No eres una cantidad infinita de cosas”.

El futuro no está claro

Pero aunque estas técnicas, junto con un mayor procesamiento y más datos, podrían dar lugar a chatbots capaces de dominar la negación, la mayoría de los investigadores siguen siendo escépticos. “En realidad, no podemos garantizar que eso vaya a ocurrir”, afirma Ettinger. Sospecha que será necesario un cambio fundamental que aleje los modelos lingüísticos de su objetivo actual de predecir palabras.

Al fin y al cabo, cuando los niños aprenden un idioma, no intentan predecir palabras, sino relacionarlas con conceptos. Lo que hacen es “emitir juicios del tipo 'esto es verdad' o 'esto no es verdad' sobre el mundo”, afirma Ettinger.

Si un LLM pudiera separar lo verdadero de lo falso de esta forma, las posibilidades se abrirían enormemente. “El problema de la negación podría desaparecer cuando los modelos LLM se parecieran más a los humanos”, afirma Okpala.

Por supuesto, esto podría ser simplemente cambiar un problema por otro. “Necesitamos mejores teorías sobre cómo los humanos reconocen el significado y cómo interpretan los textos”, afirma Carley. “Se invierte mucho menos dinero en entender cómo piensa la gente que en hacer mejores algoritmos”.

Y diseccionar cómo fallan los LLM también es cada vez más difícil. Los modelos más avanzados ya no son tan transparentes como antes, por lo que los investigadores los evalúan basándose en las entradas y salidas, en lugar de en lo que ocurre en el medio. “No es más que una aproximación”, afirma Fung. “No es una prueba teórica”. Así que los avances que hemos visto ni siquiera se comprenden bien.

Y Kassner sospecha que el ritmo de mejora se ralentizará en el futuro. “Nunca habría imaginado los avances y las ganancias que hemos visto en tan poco tiempo”, dijo. “Siempre he sido bastante escéptico sobre si basta con ampliar los modelos e introducir cada vez más datos. Y sigo pensando que no lo es”.

Traducido del inglés mediante el traductor automático DeepL.