Los investigadores de la Universidad de California en Berkeley afirman que los modelos lingüísticos de gran tamaño han adquirido «capacidad metalingüística», un sello distintivo del lenguaje y la cognición humanos que ningún otro animal ha mostrado.
Los chatbots de IA pueden analizar oraciones como un lingüista capacitado, según muestra una nueva investigación de UC Berkeley, lo que ofrece una idea de cómo están mejorando los modelos de IA y, al mismo tiempo, desafía la idea de que los humanos somos únicos en nuestra capacidad de pensar en el lenguaje.
Allison Saeng vía Unsplash
Las plataformas de IA como ChatGPT son ampliamente reconocidas como sofisticadas máquinas de predicción. Entrenadas con una vasta colección de contenido, desde artículos de noticias y libros hasta guiones de películas y publicaciones de Reddit, anticipan las siguientes letras y palabras más probables cuando se les solicita. Si bien sus respuestas pueden dar la impresión de que son pensadores conscientes, ese escenario de ciencia ficción aún no se ha materializado.
Pero una nueva investigación de la UC Berkeley revela por primera vez que los chatbots de IA ahora pueden analizar oraciones como un lingüista cualificado. El estudio, que se publicará en la revista IEEE Transactions on Artificial Intelligence , ofrece una visión de cómo están mejorando los modelos de IA y también desafía la idea de que los humanos somos únicos en nuestra capacidad para pensar en el lenguaje.
Con raíces en la lingüística y la filosofía, nuestra capacidad de reflexionar profundamente sobre las palabras y la estructura de las oraciones es una proeza cognitiva humana definitoria, afirmó Gašper Beguš, profesor asociado de lingüística en Berkeley y autor principal de la investigación. Pero esa capacidad de hablar sobre el lenguaje y manipularlo —un proceso llamado metalingüística— también se está convirtiendo en dominio de los chatbots de IA.
«Nuestros nuevos hallazgos sugieren que los modelos lingüísticos más avanzados están empezando a superar esa brecha», afirmó Beguš. «No solo pueden usar el lenguaje, sino que también pueden reflexionar sobre su organización».
Beguš y su equipo introdujeron 120 oraciones complejas en múltiples versiones de ChatGPT de OpenAI, así como en Llama 3.1 de Meta. Con cada oración, indicaron al sistema que la analizara, evaluara si poseía una cualidad lingüística específica y la diagramara con lo que los lingüistas llaman árboles sintácticos: representaciones visuales de la estructura y los componentes de una oración.
En la frase «Eliza quería que le quitaran la escayola», por ejemplo, los investigadores querían saber si la IA podía detectar la llamada estructura ambigua. ¿Quería Eliza que expulsaran a alguien? ¿O que le quitaran la escayola?
Las versiones 3.5 y 4 de ChatGPT, así como Llama, no detectaron la confusión. Sin embargo, el modelo o1 de OpenAI, diseñado para razonar a través de preguntas más complejas, detectó la ambigüedad y la diagramaron con precisión.
Esto fue revelador y señaló las mejoras que estaban logrando los modelos, dijo Beguš. Pero le interesaba especialmente si los sistemas podían detectar lo que los lingüistas llaman recursión, a veces denominada «la infinitud del lenguaje».
En estos modelos tenemos una de las raras cosas que pensábamos que era exclusiva de los humanos. Gasper Beguš
Teorizada inicialmente por Noam Chomsky, la recursión es la capacidad de los humanos de insertar frases dentro de otras, como en la oración «El perro que persiguió al gato que trepó al árbol ladró con fuerza». Esto puede generar un efecto de anidación interminable de oraciones. Chomsky la definió como una característica definitoria del lenguaje humano y que nos distingue de otros animales.
Para probar el concepto de recursión, Beguš y su equipo pidieron a los modelos de IA que identificaran si una oración de ejemplo la contenía y qué versión lingüística específica tenía. También les indicaron que añadieran otra cláusula recursiva similar.
Usando la oración «Los objetos voladores no identificados pueden tener características contradictorias», el o1 de OpenAI detectó la recursión: «volando» modifica a «objetos» y «no identificado» modifica a «objetos voladores». Diagramó la oración. Y la llevó a un nuevo nivel: «Los objetos voladores no identificados avistados recientemente pueden tener características contradictorias».
Los investigadores escribieron que “o1 superó significativamente a todos los demás”.
«Esto es muy importante», dijo Beguš, y añadió que impulsa el debate sobre si la IA «entiende» el lenguaje o simplemente lo imita. «Significa que en estos modelos tenemos una de las pocas cosas que creíamos exclusivas de los humanos».
Añadió que el enfoque empleado para estudiar la comprensión del lenguaje por parte de la IA es un método que los lingüistas pueden utilizar para evaluar otros avances en chatbots de IA. Esto, a su vez, puede ayudar a distinguir entre el entusiasmo en torno a la tecnología y los datos sobre cómo las herramientas están mejorando realmente.
“Todos sabemos lo que es hablar del lenguaje”, dijo. “Este artículo establece un buen punto de referencia o criterio para el rendimiento del modelo. Es importante evaluarlo científicamente”.
Universidad de Berkeley News. J. P. Traducido al español
