La gente siempre ha buscado patrones para explicar el universo y predecir el futuro. “Cielo rojo por la noche, alegría del marinero. Cielo rojo por la mañana, advertencia del marinero” es un adagio que predice el tiempo.
La IA es muy buena para detectar patrones y hacer predicciones. Ahora, los investigadores de Microsoft están trabajando para aplicar “modelos básicos” (modelos a gran escala que aprovechan los avances recientes de la IA) a las disciplinas científicas. Estos modelos se entrenan con una amplia variedad de datos y pueden sobresalir en muchas tareas, a diferencia de los modelos más especializados. Tienen el potencial de generar respuestas en una fracción del tiempo que se requería tradicionalmente y ayudan a resolver problemas más sofisticados.
Algunas de las disciplinas científicas más diversas que prometen avances gracias a la IA son la ciencia de los materiales, la ciencia del clima, la atención sanitaria y las ciencias de la vida. Los expertos afirman que los modelos básicos adaptados a estas disciplinas acelerarán el proceso de descubrimiento científico, lo que les permitirá crear con mayor rapidez cosas prácticas como medicamentos, nuevos materiales o previsiones meteorológicas más precisas, pero también comprender mejor los átomos, el cuerpo humano o la Tierra. Actualmente, muchos de estos modelos todavía están en desarrollo en Microsoft Research, y el primero, un modelo meteorológico llamado Aurora , ya está disponible.
“La IA es una herramienta de nuestro arsenal que puede ayudarnos”, afirmó Bonnie Kruft, socia y subdirectora de Microsoft Research, que colabora en la supervisión del laboratorio de IA para la ciencia . “La idea es que estamos trabajando en modelos muy específicos de la ciencia en lugar de modelos específicos del lenguaje. Vemos esta increíble oportunidad de ir más allá de los grandes modelos tradicionales basados en el lenguaje humano hacia un nuevo paradigma que emplea las matemáticas y las simulaciones moleculares para crear un modelo aún más potente para el descubrimiento científico”.
Los recientes avances en inteligencia artificial que han permitido a las personas planificar fiestas, generar presentaciones gráficas con algunas indicaciones para conversar u obtener resúmenes instantáneos de reuniones a las que no han asistido fueron impulsados inicialmente por una nueva clase de modelos de inteligencia artificial conocidos como modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés). Este tipo de modelo de base se entrena con grandes cantidades de texto para realizar una amplia variedad de tareas relacionadas con el lenguaje. Ahora, los investigadores de Microsoft están descubriendo cómo algunas de estas mismas arquitecturas y enfoques de inteligencia artificial pueden impulsar avances en el descubrimiento científico.
“Los modelos de lenguaje a gran escala tienen dos propiedades notables que son muy útiles. La primera es, por supuesto, que pueden generar y comprender el lenguaje humano, por lo que proporcionan una maravillosa interfaz humana para tecnologías muy sofisticadas. Pero la otra propiedad de los modelos de lenguaje a gran escala –y creo que esto fue una gran sorpresa para muchos de nosotros– es que pueden funcionar como motores de razonamiento efectivos. Y, por supuesto, eso será muy útil en el descubrimiento científico”, dijo Chris Bishop, miembro técnico y director de Microsoft Research AI for Science, en una conferencia magistral en el Microsoft Research Forum a principios de este año.
En un principio, los investigadores de IA pensaron que modelos muy específicos entrenados para realizar una tarea específica (como los que podían ganar al ajedrez o al backgammon (pero no a ambos), o los que podían traducir idiomas o transcribir grabaciones (pero no a ambos)) superarían a modelos generalizados más grandes, como los LLM. Pero resultó que sucedió lo contrario: no hubo necesidad de entrenar un modelo para responder preguntas o resumir investigaciones sobre derecho, otro sobre física y otro sobre Shakespeare, porque un modelo grande y generalizado era capaz de superar en diferentes materias y tareas. Ahora, los investigadores están investigando la posibilidad de que los modelos básicos puedan hacer lo mismo en el caso de la ciencia.
https://youtube.com/watch?v=CJejmZ5Luo4%3Ffeature%3Doembed%26enablejsapi%3D1%26origin%3Dhttps%253A%252F%252Fnews.microsoft.com
Tradicionalmente, el descubrimiento científico implicaba desarrollar una hipótesis, probarla, ajustarla a lo largo de muchas iteraciones hasta encontrar una solución o empezar de nuevo, un proceso de eliminación de lo que no funciona. En cambio, algunos modelos básicos invierten ese guión al construir en lugar de eliminar. Los científicos pueden dar parámetros a los modelos básicos, como las cualidades que desean, y los modelos pueden predecir, por ejemplo, las combinaciones de moléculas que podrían funcionar. En lugar de buscar una aguja en un pajar, los modelos sugieren directamente cómo fabricar agujas.
En algunos casos, estos modelos básicos también están diseñados para comprender el lenguaje natural, lo que facilita a los científicos la redacción de indicaciones. Para buscar un nuevo material, por ejemplo, los científicos podrían especificar que quieren una molécula que sea estable (que no se deshaga), que no sea magnética, que no conduzca electricidad y que no sea rara ni cara.
Los LLM se entrenan en texto (palabras), pero los modelos básicos que los investigadores de Microsoft han estado desarrollando para avanzar en el descubrimiento se han entrenado principalmente en los lenguajes de la ciencia (no solo libros de texto científicos y artículos de investigación, sino también montañas de datos generados a partir de la resolución de esas ecuaciones de física o química).
Aurora , que lleva la previsión meteorológica y de contaminación a nuevos niveles, fue entrenada en el lenguaje de la atmósfera terrestre. MatterGen , que sugiere nuevos materiales a partir de indicaciones, y MatterSim , que predice cómo se comportarán los nuevos materiales, fueron entrenados en el lenguaje de las moléculas. TamGen , desarrollado en colaboración entre Microsoft Research y el Global Health Drug Discovery Institute (GHDDI), que desarrolla medicamentos para enfermedades infecciosas que afectan desproporcionadamente a las poblaciones del mundo en desarrollo, se centra en otras moléculas, para nuevos medicamentos e inhibidores de proteínas para enfermedades como la tuberculosis y la COVID-19.
Pero la otra propiedad de los grandes modelos lingüísticos –y creo que esto fue una gran sorpresa para muchos de nosotros– es que pueden funcionar como motores de razonamiento eficaces.
Así como algunos alimentos se cocinan mejor friéndolos, otros hirviéndolos y otros horneándolos, también los distintos problemas científicos se prestan a distintas técnicas de IA. Muchos modelos de IA desarrollados recientemente son generativos: generan respuestas e imágenes basadas en solicitudes de lenguaje natural. Pero algunos modelos de IA son emuladores, que pueden simular las propiedades o comportamientos de algo.
Sin embargo, cada uno de estos modelos básicos es amplio: el modelo de materiales no intenta descubrir solo un tipo de material, sino muchos, y el modelo atmosférico no solo predice la lluvia, sino también otros fenómenos como la contaminación. Esta capacidad de hacer muchas cosas es clave para definir un modelo de IA como modelo básico. Y el objetivo es, con el tiempo, vincular varios modelos para crear modelos aún más amplios, porque los modelos más amplios y diversos han superado a los más específicos en otras áreas.
MatterGen para nuevos materiales
El descubrimiento de nuevos materiales puede parecer un campo limitado, pero en realidad es un foco de I+D enorme porque existen muchos tipos (aleaciones, cerámicas, polímeros, compuestos, semiconductores) y porque las posibles combinaciones de átomos para formar nuevas moléculas se cuentan por miles de millones . Los nuevos materiales son vitales para reducir el impacto de las emisiones de carbono, así como para encontrar sustitutos seguros para los materiales que ponen en peligro el medio ambiente o la salud.
El modelo base MatterGen de Microsoft Research “puede realmente generar directamente los materiales que satisfacen sus condiciones de diseño”, dijo Tian Xie, gerente principal de investigación en Microsoft Research en Cambridge, Reino Unido. Los científicos no solo pueden decirle a MatterGen el tipo de material que quieren crear, sino también estipular propiedades mecánicas, eléctricas, magnéticas y otras.
“Ofrece a los científicos de materiales una forma de elaborar mejores hipótesis para los tipos de materiales que quieren diseñar”, dijo Xie.
Xie afirmó que esto supone un avance con respecto a los métodos anteriores, ya que la IA es entre tres y cinco órdenes de magnitud más eficiente a la hora de generar materiales que examinando todos los millones de combinaciones posibles para encontrar aquellas que cumplen los criterios del científico. MatterGen comienza con los criterios del científico y crea una solución, en lugar de empezar con todas las posibilidades y examinar una y otra vez hasta que queden un puñado de combinaciones potenciales que coincidan con los criterios del científico. Y es mucho, mucho más eficiente y más económico que intentar crear nuevos materiales en un laboratorio mediante ensayo y error, aunque es necesario el trabajo de laboratorio para sintetizar los nuevos materiales candidatos.
MatterGen es un modelo de difusión, una arquitectura de IA que se ha utilizado en herramientas de creación de imágenes. En lugar de generar imágenes, MatterGen genera moléculas para nuevos materiales. Todos los datos que se han acumulado a lo largo de décadas, incluso siglos, de experimentos son demasiado escasos para entrenar un modelo de base. Pero como los campos científicos como la física y la química siguen ecuaciones matemáticas bien establecidas, calcular esas ecuaciones muchas veces crea el volumen necesario de datos de entrenamiento de alta calidad. El equipo creó datos de entrenamiento para MatterGen utilizando una fórmula de mecánica cuántica llamada teoría funcional de la densidad, que se ejecuta en computación de alto rendimiento, para generar unas 600.000 estructuras.
El equipo de investigación MatterGen de Microsoft está trabajando con socios para validar algunos de los materiales que ha generado. Entre las áreas de investigación para el futuro se incluyen formas de reciclar polímeros y crear estructuras metalorgánicas que podrían utilizarse para la captura de carbono. “Hasta ahora nos estamos centrando en materiales inorgánicos, pero en el futuro esperamos ampliarlo a materiales más complejos”, afirmó Xie.
MatterSim para predecir cómo funcionarán los nuevos materiales
Incluso con la ayuda de la IA, crear un nuevo material no es un proceso sencillo. MatterSim es un complemento de MatterGen que simula o predice cómo se comportarán las moléculas de un nuevo material. Si el resultado no es el que querían los científicos, pueden hacer un ciclo iterativo con MatterGen, modificando las entradas de la misma manera que se modificarían las indicaciones de Microsoft Copilot hasta que los resultados cumplan con los requisitos de los científicos. Sin embargo, a diferencia de MatterGen, MatterSim no es una IA generativa, sino un emulador que determina cómo se comportarán las moléculas bajo diferentes temperaturas y presiones.
MatterSim utiliza la arquitectura Graphormer , que se basa en la idea básica de los transformadores (como los LLM, que descomponen palabras u oraciones para aprender a predecir la siguiente palabra en una oración), pero fue creada por Microsoft Research para el comportamiento y las propiedades de los materiales. “Está entrenado para dominar el lenguaje de los átomos”, dijo Ziheng Lu, investigador principal de Microsoft Research AI for Science en Shanghái. “Predecir el comportamiento de los materiales es fundamental para los químicos. Lo que es más importante es que el modelo domine el lenguaje de los átomos, para aprender de toda la tabla periódica. ¿Cómo se ve la molécula en el espacio de incrustación? ¿Cómo convertir la estructura de una molécula en un vector que la máquina pueda entender? Eso es lo más importante que hace MatterSim, además de su poder para predecir las propiedades de los materiales”.
El modelo utiliza el aprendizaje activo, que es similar a cómo un estudiante podría estudiar para un examen. A medida que el modelo obtiene un nuevo dato, decide si tiene dudas al respecto. Si es así, esos datos se incorporan a la simulación para volver a entrenar el modelo, como si los estudiantes estudiaran las partes de una materia que aún no conocen, en lugar de las partes que ya han aprendido.
Existen muy pocos datos sobre el comportamiento de las moléculas, por lo que el equipo utilizó cálculos de mecánica cuántica para crear datos sintéticos, similares al ejemplo de MatterGen.
El resultado es diez veces más preciso que cualquier modelo anterior “porque podemos generar datos que abarcan un espacio de materiales sin precedentes”, afirmó Lu. “Eso hace que el modelo sea muy preciso”.
Por ahora, MatterSim se centra en materiales inorgánicos, pero es posible que se añadan otros tipos más adelante. “MatterSim es un modelo de base específico de un dominio. Los investigadores de AI for Science están avanzando hacia un gran modelo de base unificado que comprenda todo el lenguaje de la ciencia, como moléculas, biomoléculas, ADN, materiales, proteínas; todo esto podría unificarse más adelante, pero para MatterSim en este momento, lo que unificamos es toda la tabla periódica”, dijo Lu.
Aurora para la predicción atmosférica
Los ordenadores han sido fundamentales durante mucho tiempo para las predicciones meteorológicas, ya que analizan los números de las ecuaciones de la física o la dinámica de fluidos para intentar simular el sistema atmosférico. “Ahora, la IA y los modelos básicos ofrecen esta nueva oportunidad que es radicalmente diferente”, dijo Paris Perdikaris, director principal de investigación en Microsoft Research AI for Science en Ámsterdam. “Salgamos a observar el mundo y recopilemos la mayor cantidad de datos que podamos. Luego, entrenemos un sistema de IA que pueda procesar estos datos, extraer patrones de estos datos y ser predictivo para ayudarnos a pronosticar el clima, por ejemplo”.
La gran ventaja de la IA es que, una vez entrenada, no requiere de una gran potencia de cálculo. Actualmente, generar un pronóstico meteorológico de 10 días con una supercomputadora que funciona las 24 horas del día lleva unas dos horas, dijo Perdikaris. Aurora, el modelo básico de Microsoft para la atmósfera, puede hacer ese trabajo en unos segundos, utilizando una computadora de escritorio con una tarjeta GPU. “La principal diferencia que aportan los métodos de IA es la eficiencia computacional y la reducción del costo de obtener esos pronósticos”, dijo.
Aurora también mejora la precisión porque no solo utiliza datos de modelos basados en la física, sino también datos del mundo real de satélites, estaciones meteorológicas y otras fuentes, “que contienen una representación más fiel de la realidad”, dijo. “Como está expuesto a todas estas diferentes fuentes de información, Aurora tiene la oportunidad de combinarlas y producir una predicción más precisa que las herramientas de simulación convencionales que tenemos en funcionamiento”.
Aurora es una gran red neuronal, un transformador de visión, que fue entrenada con 1,2 petabytes de datos, aproximadamente diez veces el volumen de todo el texto que hay en Internet. “Esto sigue siendo una fracción minúscula de los datos que hay disponibles y que describen el sistema terrestre”, dijo Perdikaris.
Hasta ahora, diferentes modelos de predicción han dado respuesta a tres preguntas típicas sobre el tiempo: ¿lloverá aquí en los próximos diez minutos? ¿Qué tiempo hará en la Tierra en los próximos diez días? ¿Qué tiempo hará dentro de unos meses o años? Aurora y sus futuras extensiones podrán responder a todas esas preguntas con el mismo modelo.
Aurora fue entrenado con datos meteorológicos, pero al ajustarlo con datos de química atmosférica, el modelo también puede predecir los niveles de contaminación.
“Una de nuestras hipótesis iniciales era que podríamos aprovechar lo que el modelo aprende del clima e intentar adaptarlo a nuevas tareas que están regidas por diferentes leyes físicas, como la química atmosférica, y luego ver cómo funciona”, dijo Perdikaris. “Para nuestra sorpresa, ha estado funcionando y ofrece algunos resultados iniciales que son bastante prometedores”.
Los beneficios de la IA son aún más pronunciados para las predicciones de contaminación, que son diez veces más costosas que las predicciones meteorológicas.
Hacer más accesible el descubrimiento científico
Lu señaló que los modelos podrían hacer que la ciencia fuera mucho más atractiva para los estudiantes. Cuando estaba obteniendo sus títulos, tuvo que escribir ecuaciones, «pero ahora con estas simulaciones, podemos hacer las estadísticas usando una computadora o un portátil. Realmente puedes ver la reacción, los comportamientos de las moléculas y los materiales en tiempo real en la pantalla. Te da una muy buena idea de lo que realmente está sucediendo, en lugar de simplemente mirar ecuaciones en papel».
Los modelos de base científica de Microsoft se crearon desde cero en Azure. La empresa planea poner a disposición versiones preliminares de los modelos para ayudar a democratizar el descubrimiento científico y obtener comentarios de la comunidad. Estos comentarios ayudarán a identificar aplicaciones prácticas que informarán y darán forma a futuras iteraciones de los modelos, afirmó Kruft.
Los modelos de base tienen el potencial de transformar la vida cotidiana y revolucionar las industrias. Al acelerar el descubrimiento científico, no solo se espera que impulsen avances rápidos en áreas como la medicina y los materiales, sino que también ofrezcan conocimientos más profundos sobre sistemas complejos como átomos, moléculas y proteínas, afirmó Kruft, y agregó que esto, a su vez, abre vastas posibilidades comerciales en varias industrias. Mirosoft Blog. C. B. Traducido al español
Contacto