Los investigadores de EPFL han desarrollado el primer modelo de lenguaje de IA en el cerebro que captura tanto cómo se organizan las neuronas como cómo funcionan.
Nuestro cerebro es un lugar muy organizado. Neuronas: las células nerviosas responsables de transmitir señales eléctricas y químicas en todo el cuerpo – están organizadas en el tejido, tendiendo a agruparse en grupos de acuerdo con su funcionamiento. Por ejemplo, los estudios de lenguaje han encontrado que hay grupos de neuronas que parecen especializarse en verbos y otras que se centran específicamente en sustantivos, sin embargo, los investigadores no están seguros de cómo se forman estos grupos funcionales.
Los modelos anteriores de lenguaje de IA han sido capaces de capturar con éxito estos grupos individuales de neuronas funcionales, pero no han visto cómo están dispuestas espacialmente en el cerebro.
Ahora, investigadores de la Laboratorio NeuroAI, parte de ambos Escuela de Ciencias de la Computación y la Comunicación (IC) y el Escuela de Ciencias de la Vida (SV), han creado TopoLM, un nuevo modelo de lenguaje de IA que imita tanto la agrupación funcional de las neuronas como, por primera vez, cómo estas células nerviosas están dispuestas espacialmente dentro del cerebro.
“Sobre la base del trabajo en torno a cómo el cerebro procesa la visión, hicimos algunos cambios relativamente pequeños en la forma en que un modelo de lenguaje se organiza internamente, agregando una regla que alienta a las representaciones internas del modelo a ser ‘suaves’ espacialmente. El modelo resultante TopoLM desarrolla grupos espaciales de sus componentes internos que coinciden funcionalmente con la actividad que vemos en los cerebros humanos cuando procesan el lenguaje, explicó el Profesor Asistente Martin Schrimpf, Jefe del Laboratorio NeuroAI.
En su periódico, TopoLM: Brain-Like Organización Espacio-Funcional en un Modelo de Lenguaje Topográfico, uno de los menos del 2% de los documentos seleccionados para ser presentados oralmente esta semana en ICLR 2025, la Conferencia Internacional sobre Representaciones de Aprendizaje, los investigadores describen cómo TopoLM predijo con éxito cómo el sistema de lenguaje en la capa externa del cerebro, la corteza, desarrolla su organización espacio-funcional.
“Esta fue una investigación básica para comprender cómo se originan los grupos espaciales o los grupos funcionales en el cerebro en primer lugar y lo que sugiere este nuevo modelo es que podría ser impulsado por una sola regla básica sobre la organización espacial donde las neuronas cercanas tienden a comportarse de manera similar, ” continuó Schrimpf.
Los investigadores creen que TopoLM proporciona un marco para mejorar la alineación funcional de la IA con la cognición humana, ofreciendo aplicaciones directas para desarrollar computación inspirada en el cerebro y neurolingüística.
“Este es un paso emocionante hacia la construcción de sistemas de inteligencia artificial que se organizan más como el cerebro humano. Uno de nuestros principales objetivos es construir mejores modelos del cerebro en general y con TopoLM estamos un paso más cerca de las aplicaciones clínicas que podrían ayudarnos a ayudar a las personas con trastornos del lenguaje o déficits de lenguaje similares, dijo Badr AlKhamissi, asistente de doctorado en NeuroAI Lab e ICI Laboratorio de Procesamiento del Lenguaje Natural (NLP) y uno de los autores del artículo.
Este trabajo también arroja luz sobre la interpretabilidad, básicamente la comprensión de lo que sucede dentro de los Modelos de Lenguaje Grande (LLM) complejos y cómo funcionan realmente. Normalmente, los LLM tienen representaciones matemáticas llamadas ‘vectores’ asociadas con cada ‘neurona’ artificial. Para entender lo que el modelo ha aprendido, sería necesario analizar cada vector individualmente o en pequeños grupos.
Debido a que TopoLM organiza sus componentes internos en grupos, es posible mirarlos y ver surgir agrupaciones significativas. Esto hace que sea más sencillo tener una idea de cómo el modelo representa y procesa el lenguaje porque la organización misma refleja categorías significativas.
Entonces, ¿qué sigue en esta investigación de vanguardia? El equipo de investigación de EPFL ahora trabajará para probar las predicciones del modelo en cerebros humanos.
“Este modelo funciona tan bien, mucho mejor de lo que esperábamos, que queremos probar si sus predicciones son ciertas. Hay grupos en el modelo que aún no hemos observado en el cerebro humano porque nadie los ha buscado todavía. Weirll estará trabajando con colegas en los Estados Unidos que trabajan experimentalmente con humanos para realizar un nuevo estudio de imágenes para averiguar si estos grupos también aparecen en el cerebro humano, concluyó Schrimpf.
Badr AlKhamissi, Neil Rathi y Hannes Mehrer trabajaron con Martin Schrimpf en el desarrollo del modelo TopoLM.
El Laboratorio NeuroAI forma parte de los EPFL Instituto neuro-Xuna comunidad colaborativa e interdisciplinaria que reúne a equipos de la Escuela de Ciencias de la Computación y la Comunicación de EPFLla, la Escuela de Ciencias de la Vida y la Escuela de Ingeniería. EPFL News. T. P. Traducido al español
Contacto