Los modelos básicos de código abierto para la química tienen como objetivo acelerar la búsqueda de materiales nuevos y más sostenibles con aplicaciones en la fabricación de chips, la energía limpia y los envases de consumo.
La Agencia de Protección Ambiental de Estados Unidos rastrea la liberación de casi 800 sustancias tóxicas que las empresas eliminarían gradualmente si pudieran encontrar alternativas más ecológicas y de alto rendimiento. Ahora, la IA tiene el potencial de brindarles a los científicos nuevas y poderosas herramientas para hacer precisamente eso, al descubrir nuevos materiales que podrían ser más seguros para los humanos y el medio ambiente.
Los modelos básicos entrenados previamente en vastas bases de datos moleculares se pueden utilizar para examinar millones de moléculas a la vez en busca de propiedades deseables y, al mismo tiempo, descartar las que tienen efectos secundarios peligrosos. Estos modelos también se pueden utilizar para generar moléculas completamente nuevas en la naturaleza, evitando el tradicional proceso de descubrimiento prolongado basado en prueba y error.
En los últimos meses, IBM Research ha publicado una nueva familia de modelos de base de código abierto en GitHub y Hugging Face . Cualquier persona con una pequeña cantidad de datos puede personalizar los modelos para sus propias aplicaciones, ya sea para buscar mejores materiales para baterías para almacenar energía del sol y el viento o para reemplazar los químicos tóxicos PFAS «eternos» que se encuentran en todo, desde sartenes antiadherentes hasta los chips dentro de su computadora portátil o teléfono. Además de los modelos, IBM ha ideado varios métodos para fusionar diferentes representaciones moleculares.
Los modelos se pueden utilizar solos o en conjunto y, en unos pocos meses, se han descargado más de 100.000 veces. “Nos alienta el gran interés que hemos visto hasta ahora”, afirma Seiji Takeda, científico principal que codirige el proyecto de modelos básicos para materiales (FM4M) de IBM Research. “Estamos entusiasmados por ver qué se le ocurre a la comunidad”.
Moléculas legibles por máquina
A diferencia de las palabras, que son las que se utilizan en muchos modelos lingüísticos de gran tamaño, las moléculas existen en tres dimensiones y su estructura física determina en gran medida su comportamiento. Uno de los grandes desafíos de la aplicación de la IA a la química es cómo representar las estructuras moleculares de manera que las computadoras puedan analizarlas y manipularlas de manera eficaz.
A lo largo de los años han surgido diversos estilos de representación. Las estructuras moleculares se pueden resumir en lenguaje natural, como cadenas de texto de SMILES y SELFIES; como gráficos moleculares con “nodos” de átomos y “bordes” de enlaces; como valores numéricos que describen la fuerza relativa de sus propiedades físicas; y como espectrogramas, que se capturan a través de microscopios y muestran cómo una molécula objetivo interactúa con la luz.
Cada formato tiene sus puntos fuertes (y sus limitaciones) a la hora de aplicar la IA a tareas de clasificación y predicción. El conjunto de datos SMILES, con unos 1.100 millones de moléculas representadas en cadenas de texto, es el más grande del mundo. Pero como las cadenas SMILES reducen las moléculas 3D a líneas de texto, se puede perder información estructural valiosa, lo que hace que los modelos de IA generen moléculas no válidas. Un formato alternativo pero relacionado, SELFIES, ofrece una gramática más sólida y flexible para representar moléculas válidas; sin embargo, al igual que otras representaciones de texto, también carece de información 3D.
Los gráficos moleculares, en cambio, capturan la disposición espacial de los átomos y sus enlaces, pero este detalle tiene un alto costo computacional. Los datos recopilados en experimentos y simulaciones también pueden ser muy informativos, pero también tienen desventajas: los datos experimentales utilizados para entrenar modelos de IA en química pueden estar incompletos o contener errores. Por ejemplo, las mediciones de cómo las moléculas interactúan con el espectro electromagnético pueden incluir solo análisis de luz visible y dejar de lado el infrarrojo o el ultravioleta, lo que le da al modelo de IA una visión sesgada del mundo.
Los investigadores de IBM debatieron los pros y los contras de cada representación mientras trazaban su plan para construir un modelo de base para los materiales. Finalmente, entrenaron previamente cada modelo, con su modalidad única, de forma independiente.
SMILES-TED y SELFIES-TED (abreviatura de “codificador-decodificador de transformador”) se entrenaron previamente en 91 millones de SMILES y mil millones de SELFIES, muestras validadas respectivamente, de las bases de datos PubChem y Zinc-22. MHG-GED (abreviatura de “gramática hipergráfica molecular con codificador-decodificador basado en grafos”) se entrenó previamente en 1,4 millones de grafos basados en SMILES que incluían su número atómico y carga.
Llamar a varios expertos
Una arquitectura de IA conocida como combinación de expertos o MoE se ha convertido en una forma popular de ofrecer servicios a modelos grandes de manera más eficiente mediante el uso de un enrutador para activar selectivamente un subconjunto de los pesos del modelo para diferentes tareas. Un MoE toma la consulta entrante del usuario y la envía a un algoritmo de enrutamiento que decide qué «expertos» son los más adecuados para el trabajo.
Los investigadores de IBM utilizaron el concepto MoE para fusionar las fortalezas complementarias de sus modelos SMILES, SELFIES y basados en gráficos moleculares. En un estudio reciente en la conferencia NeurIPS 2024 en Vancouver, demostraron que al combinar las integraciones de las tres modalidades de datos en una arquitectura MoE de “vista múltiple” , podrían superar a otros modelos de base molecular líderes basados en una sola modalidad.
Probaron su MoE en MoleculeNet , un punto de referencia creado en Stanford que refleja algunas de las tareas que se utilizan habitualmente en el descubrimiento de fármacos y materiales. El punto de referencia incluye una amplia variedad de tareas de clasificación, que pueden incluir la predicción de si una molécula determinada es tóxica, y tareas de regresión, que pueden incluir la predicción de la solubilidad de una molécula determinada en el agua. Los investigadores descubrieron que su MoE de múltiples vistas superó a otros modelos líderes en ambos estilos de tarea.
El método MoE también proporciona información sobre qué representaciones de datos se combinan mejor con qué tipos de tareas. Los investigadores descubrieron, por ejemplo, que su MoE favorecía los modelos basados en SMILES y SELFIES en algunos tipos de tareas, mientras que recurría a las tres modalidades por igual en otras, lo que demuestra que el modelo basado en gráficos añadía valor predictivo en determinados problemas.
“Este patrón de activación experto sugiere que un MoE puede adaptarse eficazmente a tareas específicas para mejorar el rendimiento”, afirma Emilio Vital Brazil, científico senior de IBM Research y codirector del proyecto.
¿Qué sigue?
Los investigadores de IBM demostrarán los modelos básicos y sus capacidades en la próxima conferencia de la Asociación para el Avance de la Inteligencia Artificial (AAAI) en febrero. El año que viene, planean lanzar nuevas técnicas de fusión y modelos basados en modalidades de datos adicionales, incluido el posicionamiento de átomos en el espacio 3D.
A través de la AI Alliance , IBM también colabora con otros investigadores del mundo académico y de la industria para acelerar el descubrimiento de materiales más seguros y sostenibles. Esta primavera, IBM y la empresa japonesa de materiales JSR lanzaron un grupo de trabajo sobre materiales (WG4M) que hasta ahora ha reunido a unos 20 socios corporativos y académicos.
El grupo se centra en el desarrollo de nuevos modelos de base, conjuntos de datos y puntos de referencia que se puedan aplicar a problemas que van desde los plásticos reutilizables hasta los materiales necesarios para respaldar la energía renovable. «No hay tiempo que perder», afirma Dave Braines, director de tecnología de tecnología emergente de IBM Research UK. «Se necesitan materiales nuevos y más sostenibles en prácticamente todas las industrias, desde la fabricación de productos semiacabados hasta la energía limpia. La IA ahora nos da el poder de multiplicar nuestra creatividad». IBM Blog. K. M. Traducido al español
Contacto