Los investigadores han creado un marco unificador que puede ayudar a los científicos a combinar las ideas existentes para mejorar los modelos de IA o crear otros nuevos.
Los investigadores del MIT han creado una tabla periódica que muestra cómo se conectan más de 20 algoritmos clásicos de aprendizaje automático. El nuevo marco arroja luz sobre cómo los científicos podrían fusionar estrategias de diferentes métodos para mejorar los modelos de IA existentes o crear otros nuevos.
Por ejemplo, los investigadores utilizaron su marco para combinar elementos de dos algoritmos diferentes para crear un nuevo algoritmo de clasificación de imágenes que funcionó un 8 por ciento mejor que los enfoques actuales de vanguardia.
La tabla periódica se deriva de una idea clave: Todos estos algoritmos aprenden un tipo específico de relación entre los puntos de datos. Si bien cada algoritmo puede lograr eso de una manera ligeramente diferente, las matemáticas centrales detrás de cada enfoque son las mismas.
Sobre la base de estas ideas, los investigadores identificaron una ecuación unificadora que subyace a muchos algoritmos clásicos de IA. Utilizaron esa ecuación para replantear los métodos populares y organizarlos en una tabla, clasificando cada uno en función de las relaciones aproximadas que aprende.
Al igual que la tabla periódica de elementos químicos, que inicialmente contenía cuadrados en blanco que luego fueron rellenados por los científicos, la tabla periódica de aprendizaje automático también tiene espacios vacíos. Estos espacios predicen dónde deberían existir algoritmos, pero que aún no se han descubierto.
La tabla ofrece a los investigadores un conjunto de herramientas para diseñar nuevos algoritmos sin la necesidad de redescubrir ideas de enfoques anteriores, dice Shaden Alshammari, un estudiante graduado del MIT y autor principal de un documento sobre este nuevo marco.
“No es solo una metáfora,” agrega Alshammari. “Weisre comienza a ver el aprendizaje automático como un sistema con una estructura que es un espacio que podemos explorar en lugar de simplemente adivinar a través de.”
A ella se unen en el documento John Hershey, investigador de Google AI Perception; Axel Feldmann, un estudiante graduado del MIT; William Freeman, el Profesor Thomas y Gerd Perkins de Ingeniería Eléctrica y Ciencias de la Computación y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL); y el autor principal Mark Hamilton, un estudiante graduado del MIT y gerente de ingeniería senior en Microsoft. La investigación se presentará en la Conferencia Internacional sobre Representaciones de Aprendizaje.
Una ecuación accidental
Los investigadores no se propusieron crear una tabla periódica de aprendizaje automático.
Después de unirse al Freeman Lab, Alshammari comenzó a estudiar agrupamiento, una técnica de aprendizaje automático que clasifica las imágenes aprendiendo a organizar imágenes similares en grupos cercanos.
Se dio cuenta de que el algoritmo de agrupamiento que estaba estudiando era similar a otro algoritmo clásico de aprendizaje automático, llamado aprendizaje contrastivo, y comenzó a profundizar en las matemáticas. Alshammari descubrió que estos dos algoritmos dispares podrían reformularse utilizando la misma ecuación subyacente.
“Casi llegamos a esta ecuación unificadora por accidente. Una vez que Shaden descubrió que conecta dos métodos, comenzamos a soñar con nuevos métodos para incorporar a este marco. Casi todos los que probamos podrían agregarse,” Hamilton dice.
El marco que crearon, el aprendizaje contrastivo de información (I-Con), muestra cómo se puede ver una variedad de algoritmos a través de la lente de esta ecuación unificadora. Incluye todo, desde algoritmos de clasificación que pueden detectar spam hasta algoritmos de aprendizaje profundo que potencian los LLM.
La ecuación describe cómo tales algoritmos encuentran conexiones entre puntos de datos reales y luego se aproximan a esas conexiones internamente.
Cada algoritmo tiene como objetivo minimizar la cantidad de desviación entre las conexiones que aprende a aproximar y las conexiones reales en sus datos de entrenamiento.
Decidieron organizar I-Con en una tabla periódica para clasificar los algoritmos en función de cómo se conectan los puntos en conjuntos de datos reales y las formas principales en que los algoritmos pueden aproximar esas conexiones.
“El trabajo fue gradualmente, pero una vez que identificamos la estructura general de esta ecuación, fue más fácil agregar más métodos a nuestro marco,” Alshammari dice.
Una herramienta para el descubrimiento
A medida que organizaban la tabla, los investigadores comenzaron a ver brechas donde podrían existir algoritmos, pero que aún no se habían inventado.
Los investigadores llenaron un vacío tomando prestadas ideas de una técnica de aprendizaje automático llamada aprendizaje contrastivo y aplicándolas a la agrupación de imágenes. Esto dio como resultado un nuevo algoritmo que podría clasificar las imágenes no etiquetadas un 8 por ciento mejor que otro enfoque de vanguardia.
También utilizaron I-Con para mostrar cómo se podría utilizar una técnica de depuración de datos desarrollada para el aprendizaje contrastivo para aumentar la precisión de los algoritmos de agrupación.
Además, la tabla periódica flexible permite a los investigadores agregar nuevas filas y columnas para representar tipos adicionales de conexiones de puntos de datos.
En última instancia, tener I-Con como guía podría ayudar a los científicos de aprendizaje automático a pensar fuera de la caja, alentándolos a combinar ideas de maneras en las que no necesariamente habrían pensado lo contrario, dice Hamilton.
“Weimve demostró que solo una ecuación muy elegante, arraigada en la ciencia de la información, le brinda algoritmos ricos que abarcan 100 años de investigación en aprendizaje automático. Esto abre muchas nuevas vías para el descubrimiento,”, agrega.
“Quizás el aspecto más desafiante de ser un investigador de aprendizaje automático en estos días es el número aparentemente ilimitado de documentos que aparecen cada año. En este contexto, los documentos que unifican y conectan los algoritmos existentes son de gran importancia, pero son extremadamente raros. I-Con proporciona un excelente ejemplo de un enfoque tan unificador y, con suerte, inspirará a otros a aplicar un enfoque similar a otros dominios del aprendizaje automático, dice Yair Weiss, profesor de la Escuela de Ciencias de la Computación e Ingeniería de la Universidad Hebrea de Jerusalén, que no participó en esta investigación.
Esta investigación fue financiada, en parte, por el Acelerador de Inteligencia Artificial de la Fuerza Aérea, el Instituto de Inteligencia Artificial e Interacciones Fundamentales de la Fundación Nacional de Ciencia AI y Quanta Computer. NIT News. A. Z. Traducido al español
Contacto