Emerald AI, una startup de NVIDIA Inception, está desarrollando software para controlar el uso de energía durante momentos de máxima demanda de la red y, al mismo tiempo, satisfacer los requisitos de rendimiento de las cargas de trabajo de IA del centro de datos.
En muchas partes del mundo, incluidos los principales centros tecnológicos de Estados Unidos, hay que esperar años para que las fábricas de IA entren en funcionamiento, a la espera de que se construya nueva infraestructura energética para alimentarlas.
Emerald AI , una startup con sede en Washington, DC, está desarrollando una solución de inteligencia artificial que podría permitir que la próxima generación de centros de datos entre en funcionamiento antes al aprovechar los recursos energéticos existentes de una manera más flexible y estratégica.
“Tradicionalmente, la red eléctrica ha tratado a los centros de datos como inflexibles: los operadores de sistemas energéticos asumen que una fábrica de IA de 500 megavatios siempre requerirá acceso a esa cantidad total de energía”, afirmó Varun Sivaram, fundador y director ejecutivo de Emerald AI. “Pero en momentos de necesidad, cuando la demanda de la red alcanza su pico y el suministro es escaso, las cargas de trabajo que impulsan el consumo energético de la fábrica de IA ahora pueden ser flexibles”.
Esta flexibilidad es posible gracias a la plataforma Emerald Conductor de la startup, un sistema basado en IA que actúa como un intermediario inteligente entre la red eléctrica y un centro de datos. En una prueba de campo reciente en Phoenix, Arizona, la empresa y sus socios demostraron que su software puede reducir el consumo energético de las cargas de trabajo de IA que se ejecutan en un clúster de 256 GPU NVIDIA en un 25 % durante tres horas durante un evento de estrés en la red eléctrica, preservando al mismo tiempo la calidad del servicio de cómputo.
Emerald AI logró esto orquestando la gran cantidad de cargas de trabajo que ejecutan las fábricas de IA . Algunas tareas pueden pausarse o ralentizarse, como el entrenamiento o el ajuste de un modelo de lenguaje extenso para la investigación académica. Otras, como las consultas de inferencia para un servicio de IA utilizado por miles o incluso millones de personas, no pueden reprogramarse, pero sí pueden redirigirse a otro centro de datos donde la red eléctrica local esté menos sobrecargada.
Emerald Conductor coordina estas cargas de trabajo de IA en una red de centros de datos para satisfacer las demandas de la red eléctrica, lo que garantiza el rendimiento total de las cargas de trabajo sensibles al tiempo y, al mismo tiempo, reduce dinámicamente el rendimiento de las cargas de trabajo flexibles dentro de límites aceptables.
Además de ayudar a que las fábricas de IA funcionen usando los sistemas de energía existentes, esta capacidad de modular el uso de energía podría ayudar a las ciudades a evitar apagones rotativos, proteger a las comunidades del aumento de las tarifas de los servicios públicos y facilitar que la red integre energía limpia.
“La energía renovable, que es intermitente y variable, es más fácil de incorporar a una red si esta cuenta con numerosos amortiguadores que puedan adaptarse a los cambios en el suministro eléctrico”, afirmó Ayse Coskun, científica principal de Emerald AI y profesora de la Universidad de Boston. “Los centros de datos pueden convertirse en uno de esos amortiguadores”.
Emerald AI, miembro del programa NVIDIA Inception para startups y empresa del portafolio de NVentures , anunció hoy una financiación inicial de más de 24 millones de dólares . Su demostración en Phoenix, parte de la iniciativa de flexibilidad para centros de datos DCFlex de EPRI , se ejecutó en colaboración con NVIDIA, Oracle Cloud Infrastructure (OCI) y la empresa eléctrica regional Salt River Project (SRP).
«La prueba de la tecnología Phoenix valida el enorme potencial de un elemento esencial en la flexibilidad del centro de datos», afirmó Anuja Ratnayake, quien dirige el Consorcio DCFlex de EPRI.
EPRI también lidera el Open Power AI Consortium , un grupo de empresas de energía, investigadores y empresas de tecnología, incluida NVIDIA, que trabajan en aplicaciones de IA para el sector energético.
Aprovechar al máximo el potencial de la red
La capacidad de la red eléctrica suele estar infrautilizada, excepto durante picos de demanda, como los calurosos días de verano o las frías tormentas de invierno, cuando hay una alta demanda de energía para refrigeración y calefacción. Esto significa que, en muchos casos, hay espacio en la red existente para nuevos centros de datos, siempre que puedan reducir temporalmente el consumo de energía durante los periodos de máxima demanda.
Un estudio reciente de la Universidad de Duke estima que si los nuevos centros de datos de IA pudieran flexibilizar su consumo de electricidad solo un 25 % durante dos horas cada vez, menos de 200 horas al año, podrían liberar 100 gigavatios de nueva capacidad para conectar centros de datos, lo que equivale a más de 2 billones de dólares en inversión en centros de datos .
Poniendo a prueba la flexibilidad de la fábrica de IA
La prueba reciente de Emerald AI se llevó a cabo en Oracle Cloud Phoenix Region en GPU NVIDIA distribuidas en un clúster de varios racks administrado a través de Databricks MosaicML.
“La entrega rápida de computación de alto rendimiento a los clientes de IA es crucial, pero está limitada por la disponibilidad de la red eléctrica”, afirmó Pradeep Vincent, arquitecto técnico jefe y vicepresidente sénior de Oracle Cloud Infrastructure, empresa que suministró la telemetría de energía del clúster para la prueba. “Una infraestructura informática que responde a las condiciones de la red en tiempo real y, al mismo tiempo, satisface las demandas de rendimiento, abre las puertas a un nuevo modelo para escalar la IA: más rápido, más ecológico y con mayor capacidad de respuesta a la red eléctrica”.
Jonathan Frankle, científico jefe de IA en Databricks, guió la selección de cargas de trabajo de IA para la prueba y sus umbrales de flexibilidad.
“Existe cierta flexibilidad latente en la forma en que se ejecutan las cargas de trabajo de IA”, afirmó Frankle. “A menudo, un pequeño porcentaje de trabajos no son preemptibles, mientras que muchos trabajos, como el entrenamiento, la inferencia por lotes o el ajuste fino, tienen diferentes niveles de prioridad según el usuario”.
Debido a que Arizona es uno de los estados líderes en crecimiento de centros de datos, SRP estableció objetivos de flexibilidad desafiantes para el clúster de cómputo de IA (una reducción del 25 % en el consumo de energía en comparación con la carga de referencia) en un esfuerzo por demostrar cómo los nuevos centros de datos pueden brindar un alivio significativo a las limitaciones de la red eléctrica de Phoenix.
“Esta prueba fue una oportunidad para reimaginar por completo los centros de datos de IA como recursos útiles que nos ayuden a operar la red eléctrica de manera más eficaz y confiable”, afirmó David Rousseau, presidente de SRP.
El 3 de mayo, un día caluroso en Phoenix con una alta demanda de aire acondicionado, el sistema de SRP experimentó un pico de demanda a las 6 p. m. Durante la prueba, el grupo de centros de datos redujo el consumo gradualmente con una reducción de energía de 15 minutos, mantuvo la reducción de energía del 25 % durante tres horas y luego volvió a aumentar sin exceder su consumo de referencia original.
Los usuarios de la fábrica de IA pueden etiquetar sus cargas de trabajo para guiar al software de Emerald sobre qué trabajos se pueden ralentizar, pausar o reprogramar, o los agentes de IA de Emerald pueden hacer estas predicciones automáticamente.
Las decisiones de orquestación se basaron en el Simulador Emerald, que modela con precisión el comportamiento del sistema para optimizar el equilibrio entre el consumo de energía y el rendimiento de la IA. El historial de demanda de la red, proporcionado por el proveedor de datos Amperon, confirmó que el clúster de IA funcionó correctamente durante el período pico de la red.
Forjando un futuro resiliente a la energía
La Agencia Internacional de Energía proyecta que la demanda de electricidad de los centros de datos a nivel mundial podría más que duplicarse para 2030. Ante la demanda anticipada en la red, el estado de Texas aprobó una ley que exige que los centros de datos reduzcan gradualmente el consumo o se desconecten de la red a petición de las empresas de servicios públicos durante los cortes de suministro.
«En tales situaciones, si los centros de datos logran reducir dinámicamente su consumo de energía, podrían evitar quedarse sin suministro eléctrico por completo», afirmó Sivaram.
De cara al futuro, Emerald AI está ampliando sus pruebas tecnológicas en Arizona y más allá, y planea seguir trabajando con NVIDIA para probar su tecnología en fábricas de IA.
“Podemos hacer que los centros de datos sean controlables y, al mismo tiempo, garantizar un rendimiento de IA aceptable”, afirmó Sivaram. “Las fábricas de IA pueden adaptarse cuando la red es limitada y acelerar cuando los usuarios lo necesitan”.
Obtenga más información sobre NVIDIA Inception y explore las plataformas de IA diseñadas para energía y servicios públicos .
NVIDIA Blog. M. S. Traducido al español
