Rastreando las raíces de las redes neuronales, los componentes básicos de la IA moderna, en Caltech.
A principios de la década de 1980, tres gigantes de la facultad de Caltech —Carver Mead (BS ’56, PhD ’60), ahora profesor emérito de Ingeniería y Ciencias Aplicadas Gordon y Betty Moore; el fallecido Premio Nobel de Física Richard Feynman; y John Hopfield, entonces profesor de biología y química, que también ganaría un Premio Nobel— se sintieron intrigados por las conexiones entre el cerebro y las computadoras.
El trío se reunía para almorzar en el Ateneo de Caltech y se preguntaba: ¿Cómo procesa la información nuestro cerebro, con sus miles de millones de neuronas interconectadas? ¿Y pueden las computadoras, que funcionan de forma más directa, procesando números, imitar la capacidad del cerebro para, en esencia, pensar?
Estas conversaciones finalmente dieron lugar a un nuevo curso de posgrado, Física de la Computación, impartido de forma intermitente por los tres profesores entre 1981 y 1983. Hopfield recuerda que hubo obstáculos para poner en marcha el curso. «En aquel entonces, había muy poca interacción entre la informática y otros campos», afirma Hopfield, ahora profesor emérito de Princeton y titular de la Cátedra Roscoe G. Dickinson de Química y Biología de Caltech. «Teníamos una mezcla difusa de ideas que queríamos presentar, y nos llevó un tiempo convencer al Instituto para que aprobara el curso. Aun así, fue un período intelectualmente emocionante que atrajo a Caltech a excelentes estudiantes nuevos y a numerosos profesores invitados».
Paralelamente a estas conversaciones, Hopfield comenzó a formular ideas para crear redes simples que reflejaran el funcionamiento de la memoria humana. En 1982, publicó un artículo teórico que describía cómo una red neuronal artificial, modelada a partir de la estructura del cerebro humano, podía programarse para aprender y recordar. Aunque posteriormente otros investigadores construirían estas redes utilizando chips de computadora, la investigación de Hopfield utilizó las matemáticas para describir un nuevo esquema de inspiración biológica que podía entrenarse para «recordar» patrones almacenados, como imágenes. Las computadoras podían recordar las imágenes incluso cuando solo se disponía de una versión incompleta o borrosa de la misma. El sistema es similar a recordar la experiencia completa de escuchar una canción en particular después de captar un fragmento de la melodía en la radio.
Los orígenes de los programas modernos de IA como ChatGPT se remontan a modelos de inspiración biológica similares a la red de Hopfield, como se la conoce actualmente. Por esta investigación fundamental, Hopfield recibió el Premio Nobel de Física 2024, junto con Geoffrey Hinton, de la Universidad de Toronto. El avance de Hopfield se produjo en un momento crucial de la historia de Caltech, cuando las ideas apenas comenzaban a fluir entre la neurociencia y la informática. «La investigación en IA se desarrollaba muy lentamente y aún albergaba muchos escépticos», afirma Hopfield.
A pesar de los desafíos, Hopfield buscó oficializar el movimiento: además del curso de Física de la Computación que ayudó a dirigir, buscó organizar un nuevo programa interdisciplinario que ofreciera títulos de posgrado. El entonces rector de Caltech, Robbie Vogt, ahora Profesor Distinguido de Servicio R. Stanton Avery y Profesor Emérito de Física, apoyó la idea y, en 1986, nació el programa de Computación y Sistemas Neuronales (CNS) del Instituto, con Hopfield como su primer director. Hoy en día, el CNS cuenta con un dinámico grupo de académicos que ha formado a más de 150 doctores.
“Este programa fue el primero de su tipo en acoger a estudiantes altamente cuantitativos de física, ingeniería y matemáticas interesados tanto en el cerebro como en las computadoras”, afirma Christof Koch, quien fue el primer profesor contratado por CNS y posteriormente su director, antes de dejar Caltech en 2013 para convertirse en director científico y presidente del Instituto Allen de Ciencias del Cerebro. “Ahora hay muchos otros centros que consideran el cerebro como sistemas computacionales de forma similar, pero nosotros lideramos la iniciativa”.
Yaser Abu-Mostafa (PhD ’83), profesor de ingeniería eléctrica e informática en Caltech, quien realizó trabajos teóricos sobre redes Hopfield en la década de 1980, recuerda que, para mediados de esa década, cada vez más personas se unían a la creciente comunidad mundial de IA gracias al trabajo innovador que se realizaba en el campus. «Lo que hizo Hopfield fue muy inspirador», afirma. «Consolidó la idea de que esto es posible». Abu-Mostafa inició un taller sobre IA, que posteriormente dio lugar a la creación de la conferencia sobre Sistemas de Procesamiento de Información Neural en 1987. Ahora conocida como NeurIPS, esta reunión se ha convertido en la conferencia de IA más grande del mundo. (Véase la página 13). «Ha sido muy gratificante observar cómo se desarrolla un campo desde cero», afirma Abu-Mostafa.
Construido sobre la física
A finales de la década de 1970, Hopfield, entonces profesor de biofísica en la Universidad de Princeton, asistió a una serie de conferencias sobre neurociencia en Boston y rápidamente se fascinó con el tema. Como físico de la materia condensada de formación e hijo de dos padres físicos, quería comprender cómo nuestras mentes surgen de la compleja red de neuronas que compone el cerebro humano. «Me interesaba mucho la interfaz entre la física y la materia viva», afirma.
En 1980, Hopfield dejó Princeton para irse a Caltech, en parte debido a las «espléndidas instalaciones informáticas» del Instituto, que utilizaría para probar y desarrollar sus ideas sobre redes neuronales. Sin embargo, Hopfield no se propuso crear una inteligencia artificial. «Esperaba que las redes nos explicaran cómo funciona el cerebro», afirma.
Su idea era crear un programa informático sencillo basado en la vasta red de miles de millones de neuronas de nuestro cerebro y los billones de conexiones entre ellas. Las computadoras de la década de 1980 se utilizaban para ejecutar largas secuencias de comandos y buscar información en bases de datos, pero ese proceso llevaba tiempo y requería cada vez más espacio de almacenamiento. Imagine intentar recordar el nombre de un cantante y tener que revisar mentalmente un catálogo de todos los nombres de cantantes uno por uno; podría llevar un tiempo.
En cambio, nuestro cerebro cuenta con un sistema más eficiente para recuperar información que se basa en neuronas que modifican su arquitectura a medida que aprenden nuevas conexiones. Los recuerdos se codifican en diferentes patrones de actividad neuronal; como afirma Hopfield, el cerebro es un sistema biológico dinámico. Decidió modelar su red neuronal basándose en otro sistema dinámico de la naturaleza relacionado con el magnetismo. Denominado modelo de Ising, este sistema describe cómo los espines ascendentes o descendentes de los electrones en un material pueden influirse mutuamente y propagar estados magnetizados. Cuando esto ocurre, el sistema evoluciona hacia el estado de menor energía, como una pelota que rueda cuesta abajo.
Las redes de Hopfield también evolucionan hacia estados de baja energía en sentido matemático. Estas redes neuronales se componen de neuronas artificiales conectadas mediante nodos, cada una con una fuerza o peso diferente. Un conjunto de códigos informáticos, conocido como algoritmo, dirige la red para ajustar la fuerza de conexión entre estas neuronas, de modo que una imagen almacenada, como la de una araña, se vincule con un estado de baja energía específico. Cuando se introduce una imagen borrosa de una araña en la red de Hopfield, las neuronas artificiales de la red evalúan la información disponible y ajustan sus niveles de actividad evolucionando hacia el estado de baja energía correspondiente a la imagen almacenada. De esta manera, el sistema aprende a reconocer imágenes de objetos.
La columna vertebral de cualquier red neuronal es un algoritmo (o regla de aprendizaje); una característica clave del algoritmo de Hopfield, según Abu-Mostafa, es que permitió que el sistema aprendiera y se volviera cada vez más inteligente. «El aprendizaje es absolutamente esencial para la inteligencia», afirma. «Hopfield extrajo la esencia de las neuronas». Abu-Mostafa señala que el artículo teórico que Hopfield publicó en 1982, «Redes neuronales y sistemas físicos con capacidades computacionales colectivas emergentes», es el quinto artículo de Caltech más citado de todos los tiempos.
La física jugó un papel clave en el éxito de Hopfield, dice Koch, y esto “condujo a una afluencia masiva de físicos al campo”.
“Hopfield descubrió cómo moldear el paisaje energético [un mapa de los posibles estados energéticos de un sistema]. Entrenó su red para excavar un agujero en el paisaje correspondiente al patrón de imagen que se estaba entrenando”, añade Erik Winfree (doctorado en 1998), profesor de informática, computación y sistemas neuronales, y bioingeniería en Caltech, y exalumno de Hopfield en el programa CNS. “Aportó la física a las redes”.
En su discurso de entrega del Premio Nobel en diciembre de 2024, Hopfield explicó cómo el modelo de Ising del magnetismo podía generalizarse para replicar un sistema biológico como el cerebro. «Todo encajó a la perfección cuando vi que estas dos partes de la ciencia se describen mediante el mismo conjunto de matemáticas», afirmó Hopfield.
Mead añade que otros habían intentado construir redes neuronales artificiales antes, pero pocos imaginaban que alcanzarían el tamaño necesario para realizar tareas interesantes. «Hopfield demostró que eran posibles», explica. «Esta fue la primera vez que se empezó a pensar en la utilidad de las redes neuronales».
Cómo las computadoras se pusieron al día
En la época en que Hopfield trabajaba en la teoría de sus redes neuronales, Mead y sus colaboradores habían comenzado a transformar la industria informática al inventar una nueva forma de integrar más semiconductores diminutos, conocidos como transistores, en chips de computadora, un proceso denominado integración a muy gran escala (VLSI). La VLSI permitió que millones, y ahora miles de millones, de transistores se comprimieran en un solo chip, una hazaña que propició el desarrollo de computadoras de escritorio, teléfonos celulares y una infinidad de otros dispositivos informáticos.
A principios de la década de 2010, los investigadores se dieron cuenta de que podían utilizar un tipo de chip VLSI empleado en videojuegos, llamado unidades de procesamiento gráfico (GPU), para gestionar las enormes demandas computacionales de las redes de IA.
Aunque los chips GPU no se inventaron en Caltech, algunos aspectos de su origen se remontan a las primeras investigaciones sobre VLSI en el campus. Una característica clave de las GPU, que las hace cruciales para las grandes redes neuronales de IA, es un tipo de computación llamada procesamiento paralelo. En esencia, esto significa que pueden realizar múltiples cálculos simultáneamente, lo que las hace muy eficaces para resolver problemas matemáticos. Esta innovación surgió de un científico informático que trabajaba con tecnología VLSI en la década de 1980 llamado HT Kung. Entonces profesor de la Universidad Carnegie Mellon y ahora de la Universidad de Harvard, Kung impartió una charla en la primera conferencia sobre VLSI.
“Descubrió cómo multiplicar filas enteras de números, no solo dos a la vez, en los chips VLSI”, explica Mead. “Se llama multiplicación de matrices y permitió el procesamiento en paralelo. La idea fue redescubierta posteriormente por NVIDIA y aplicada a las GPU”.
NVIDIA, el desarrollador líder mundial de GPU, también tiene su cuota de influencias de Caltech, incluido Bill Dally (PhD ’86), un ex profesor de Caltech que ahora es el científico jefe y vicepresidente sénior de la compañía, y Anima Anandkumar, profesor Bren de Computación y Ciencias Matemáticas, quien anteriormente se desempeñó como director sénior de investigación de IA de la compañía de 2018 a 2023.
Al igual que Hopfield, Anandkumar afirma que la física inspira su trabajo. Incluso antes de incorporarse a Caltech en 2017, Anandkumar afirma que le fascinaba la física. En 2011, analizó cómo el éxito de los algoritmos de aprendizaje está vinculado a la transición de fase en el modelo de Ising, el mismo modelo sobre el que Hopfield construyó su red. «Hopfield nos proporcionó las herramientas iniciales para la IA moderna», afirma Anandkumar.
Construyendo puentes entre el cerebro y las computadoras
Hopfield señala a Mead como uno de los primeros en creer en su visión de las redes neuronales. «Carver me pidió que diera una charla en la década de 1980 ante la gente de Bell Labs», dice Hopfield, «y recuerdo que pensé: ‘No sé qué decirles’. Entonces me di cuenta de que podía demostrar el teorema para la red de Hopfield. La demostración original está escrita en el reverso de un papel con membrete del hotel que aún conservo». Vogt, rector de Caltech en aquella época, también creía en la viabilidad de los esfuerzos de Hopfield y finalmente dio luz verde a la creación de la opción de posgrado en CNS.
«No creo que CNS hubiera despegado hasta dentro de uno o dos años sin Robbie Vogt», dice Hopfield. «Era un líder diferente. Podía hacer cosas maravillosas».
Hopfield veía a CNS como un medio para que personas con diferentes trayectorias conversaran e influyeran mutuamente en su trabajo, aunque señala que fue difícil implementar tanto el curso de Física de la Computación como la opción de posgrado de CNS en Caltech. Otros científicos, afirma, no estaban convencidos de los méritos del esfuerzo interdisciplinario. «Antes de CNS, existía una clara brecha entre la informática y la neurobiología», afirma. «La brecha era algo así como tener un grupo de personas trabajando en el clima y otro grupo de personas trabajando en física molecular y química, pero sin que nadie se preguntara cuál era la relación entre el clima y las colisiones moleculares, que obviamente eran la base del problema. La calidad de los estudiantes que ingresaban a CNS era tan alta que los neurobiólogos e ingenieros que habían sido escépticos rápidamente se convirtieron en verdaderos creyentes, o al menos en participantes voluntarios».
En la actualidad, los casi 40 profesores asociados con la opción de posgrado en CNS de Caltech continúan estudiando el cerebro humano como un sistema computacional tanto para desarrollar nuevas herramientas de IA como para comprender mejor el funcionamiento fundamental del cerebro.
En la celebración del 30.º aniversario del programa, celebrada en 2017, muchos graduados recordaron la emoción de trascender fronteras entre disciplinas. Gabriel Kreiman (doctorado en la promoción 2002), profesor de la Facultad de Medicina de Harvard, intervino en el evento y elogió el rigor y la colaboración del programa como factores clave para la formación de grandes científicos.
“La libertad intelectual de reunirnos e ir con el resto de la gente de CNS al Ateneo a almorzar y luego pasar tres horas discutiendo los detalles de un problema en particular, o quedarnos hasta la madrugada en una de las salas donde tenemos todas las computadoras y trabajar juntos y luchar juntos sobre absolutamente todos los problemas de la neurociencia y la neurociencia computacional…”, dijo Kreiman en el evento. “La magia, la chispa de lo que sucedió aquí en CNS fue completamente única”. Caltech News. W. C. Traducido al español
