Cómo las fábricas de IA pueden ayudar a aliviar la tensión de la red
Emerald AI, una startup de NVIDIA Inception, está desarrollando software para controlar el uso de energía durante momentos de máxima demanda de la red y, al mismo tiempo, satisfacer los requisitos de rendimiento de las cargas de trabajo de IA del centro de datos. En muchas partes del mundo, incluidos los principales centros tecnológicos de Estados Unidos, hay que esperar años para que las fábricas de IA entren en funcionamiento, a la espera de que se construya nueva infraestructura energética para alimentarlas. Emerald AI , una startup con sede en Washington, DC, está desarrollando una solución de inteligencia artificial que podría permitir que la próxima generación de centros de datos entre en funcionamiento antes al aprovechar los recursos energéticos existentes de una manera más flexible y estratégica. “Tradicionalmente, la red eléctrica ha tratado a los centros de datos como inflexibles: los operadores de sistemas energéticos asumen que una fábrica de IA de 500 megavatios siempre requerirá acceso a esa cantidad total de energía”, afirmó Varun Sivaram, fundador y director ejecutivo de Emerald AI. “Pero en momentos de necesidad, cuando la demanda de la red alcanza su pico y el suministro es escaso, las cargas de trabajo que impulsan el consumo energético de la fábrica de IA ahora pueden ser flexibles”. Esta flexibilidad es posible gracias a la plataforma Emerald Conductor de la startup, un sistema basado en IA que actúa como un intermediario inteligente entre la red eléctrica y un centro de datos. En una prueba de campo reciente en Phoenix, Arizona, la empresa y sus socios demostraron que su software puede reducir el consumo energético de las cargas de trabajo de IA que se ejecutan en un clúster de 256 GPU NVIDIA en un 25 % durante tres horas durante un evento de estrés en la red eléctrica, preservando al mismo tiempo la calidad del servicio de cómputo. Emerald AI logró esto orquestando la gran cantidad de cargas de trabajo que ejecutan las fábricas de IA . Algunas tareas pueden pausarse o ralentizarse, como el entrenamiento o el ajuste de un modelo de lenguaje extenso para la investigación académica. Otras, como las consultas de inferencia para un servicio de IA utilizado por miles o incluso millones de personas, no pueden reprogramarse, pero sí pueden redirigirse a otro centro de datos donde la red eléctrica local esté menos sobrecargada. Emerald Conductor coordina estas cargas de trabajo de IA en una red de centros de datos para satisfacer las demandas de la red eléctrica, lo que garantiza el rendimiento total de las cargas de trabajo sensibles al tiempo y, al mismo tiempo, reduce dinámicamente el rendimiento de las cargas de trabajo flexibles dentro de límites aceptables. Además de ayudar a que las fábricas de IA funcionen usando los sistemas de energía existentes, esta capacidad de modular el uso de energía podría ayudar a las ciudades a evitar apagones rotativos, proteger a las comunidades del aumento de las tarifas de los servicios públicos y facilitar que la red integre energía limpia. “La energía renovable, que es intermitente y variable, es más fácil de incorporar a una red si esta cuenta con numerosos amortiguadores que puedan adaptarse a los cambios en el suministro eléctrico”, afirmó Ayse Coskun, científica principal de Emerald AI y profesora de la Universidad de Boston. “Los centros de datos pueden convertirse en uno de esos amortiguadores”. Emerald AI, miembro del programa NVIDIA Inception para startups y empresa del portafolio de NVentures , anunció hoy una financiación inicial de más de 24 millones de dólares . Su demostración en Phoenix, parte de la iniciativa de flexibilidad para centros de datos DCFlex de EPRI , se ejecutó en colaboración con NVIDIA, Oracle Cloud Infrastructure (OCI) y la empresa eléctrica regional Salt River Project (SRP). «La prueba de la tecnología Phoenix valida el enorme potencial de un elemento esencial en la flexibilidad del centro de datos», afirmó Anuja Ratnayake, quien dirige el Consorcio DCFlex de EPRI. EPRI también lidera el Open Power AI Consortium , un grupo de empresas de energía, investigadores y empresas de tecnología, incluida NVIDIA, que trabajan en aplicaciones de IA para el sector energético. Aprovechar al máximo el potencial de la red La capacidad de la red eléctrica suele estar infrautilizada, excepto durante picos de demanda, como los calurosos días de verano o las frías tormentas de invierno, cuando hay una alta demanda de energía para refrigeración y calefacción. Esto significa que, en muchos casos, hay espacio en la red existente para nuevos centros de datos, siempre que puedan reducir temporalmente el consumo de energía durante los periodos de máxima demanda. Un estudio reciente de la Universidad de Duke estima que si los nuevos centros de datos de IA pudieran flexibilizar su consumo de electricidad solo un 25 % durante dos horas cada vez, menos de 200 horas al año, podrían liberar 100 gigavatios de nueva capacidad para conectar centros de datos, lo que equivale a más de 2 billones de dólares en inversión en centros de datos . Poniendo a prueba la flexibilidad de la fábrica de IA La prueba reciente de Emerald AI se llevó a cabo en Oracle Cloud Phoenix Region en GPU NVIDIA distribuidas en un clúster de varios racks administrado a través de Databricks MosaicML. “La entrega rápida de computación de alto rendimiento a los clientes de IA es crucial, pero está limitada por la disponibilidad de la red eléctrica”, afirmó Pradeep Vincent, arquitecto técnico jefe y vicepresidente sénior de Oracle Cloud Infrastructure, empresa que suministró la telemetría de energía del clúster para la prueba. “Una infraestructura informática que responde a las condiciones de la red en tiempo real y, al mismo tiempo, satisface las demandas de rendimiento, abre las puertas a un nuevo modelo para escalar la IA: más rápido, más ecológico y con mayor capacidad de respuesta a la red eléctrica”. Jonathan Frankle, científico jefe de IA en Databricks, guió la selección de cargas de trabajo de IA para la prueba y sus umbrales de flexibilidad. “Existe cierta flexibilidad latente en la forma en que se ejecutan las cargas de trabajo de IA”, afirmó Frankle. “A menudo, un pequeño porcentaje de
Cómo las fábricas de IA pueden ayudar a aliviar la tensión de la red Leer más »








