Oracle anunció el primer supercúmulo OCI a escala zetta acelerado por la plataforma NVIDIA Blackwell, que permite a los clientes entrenar e implementar modelos de IA de próxima generación a escala.
Las empresas buscan una computación cada vez más potente para respaldar sus cargas de trabajo de IA y acelerar el procesamiento de datos. La eficiencia obtenida puede traducirse en mejores retornos para sus inversiones en entrenamiento y ajuste de IA, y en mejores experiencias de usuario para la inferencia de IA.
En la conferencia Oracle CloudWorld de hoy, Oracle Cloud Infrastructure (OCI) anunció el primer superclúster OCI de escala zetta, acelerado por la plataforma NVIDIA Blackwell , para ayudar a las empresas a entrenar e implementar modelos de IA de próxima generación utilizando más de 100 000 GPU de última generación de NVIDIA.
Los superclusters OCI permiten a los clientes elegir entre una amplia gama de GPU NVIDIA e implementarlas en cualquier lugar: en las instalaciones, en la nube pública y en la nube soberana. Los sistemas basados en Blackwell, cuya disponibilidad está prevista para la primera mitad del año próximo, pueden escalar hasta 131.072 GPU Blackwell con NIC NVIDIA ConnectX-7 para redes RoCEv2 o NVIDIA Quantum-2 InfiniBand para ofrecer una asombrosa cantidad de 2,4 zettaflops de computación de IA máxima en la nube. (Lea el comunicado de prensa para obtener más información sobre los superclusters OCI).
En la feria, Oracle también presentó una vista previa de las instancias NVIDIA GB200 NVL72 refrigeradas por líquido para ayudar a impulsar aplicaciones de IA generativas . Las instancias son capaces de realizar entrenamiento a gran escala con Quantum-2 InfiniBand e inferencia en tiempo real de modelos de billones de parámetros dentro del dominio NVIDIA NVLink de 72 GPU ampliado , que puede actuar como una única GPU masiva.
Este año, OCI ofrecerá NVIDIA HGX H200 , que conecta ocho GPU NVIDIA H200 Tensor Core en una única instancia de hardware a través de NVLink y NVLink Switch, y escala a 65 536 GPU H200 con NIC NVIDIA ConnectX-7 a través de redes de clúster RoCEv2. La instancia está disponible para pedidos de clientes que buscan ofrecer inferencia en tiempo real a escala y acelerar sus cargas de trabajo de capacitación. (Lea un blog sobre los superclústeres de OCI con GPU NVIDIA B200, GB200 y H200).
OCI también anunció la disponibilidad general de instancias aceleradas por GPU NVIDIA L40S para cargas de trabajo de IA de rango medio, NVIDIA Omniverse y visualización. (Lea un blog sobre los supercúmulos de OCI con GPU NVIDIA L40S).
Para soluciones de un solo nodo a varios racks, las ofertas de borde de Oracle brindan IA escalable en el borde acelerada por GPU NVIDIA, incluso en ubicaciones remotas y desconectadas. Por ejemplo, las implementaciones a menor escala con Roving Edge Device v2 de Oracle ahora admitirán hasta tres GPU NVIDIA L4 Tensor Core .
Las empresas están utilizando los superclusters OCI con tecnología NVIDIA para impulsar la innovación en inteligencia artificial. La startup Reka, por ejemplo, está utilizando los clústeres para desarrollar modelos avanzados de inteligencia artificial multimodal para desarrollar agentes empresariales.
“Los modelos de IA multimodales de Reka, creados con tecnología OCI y NVIDIA, permiten a los agentes empresariales de última generación leer, ver, oír y hablar para comprender nuestro complejo mundo”, afirmó Dani Yogatama, cofundador y director ejecutivo de Reka. “Con la infraestructura acelerada por GPU de NVIDIA, podemos manejar modelos muy grandes y contextos extensos con facilidad, al mismo tiempo que permitimos que el entrenamiento denso y disperso se escale de manera eficiente a niveles de clúster”.
NVIDIA recibió el premio Oracle Technology Solution Partner Award en Innovación 2024 por su enfoque integral hacia la innovación.
Aceleración de las cargas de trabajo de bases de datos Oracle con inteligencia artificial generativa
Oracle Autonomous Database está obteniendo soporte de GPU NVIDIA para portátiles Oracle Machine Learning para permitir que los clientes aceleren sus cargas de trabajo de procesamiento de datos en Oracle Autonomous Database.
En Oracle CloudWorld, NVIDIA y Oracle se asocian para demostrar tres capacidades que muestran cómo la plataforma de computación acelerada de NVIDIA podría usarse hoy o en el futuro para acelerar los componentes clave de los canales de generación aumentada de recuperación de IA generativa .
El primero mostrará cómo se pueden usar las GPU NVIDIA para acelerar las incorporaciones masivas de vectores directamente desde Oracle Autonomous Database Serverless para acercar de manera eficiente los datos empresariales a la IA. Estos vectores se pueden buscar mediante la búsqueda de vectores de IA de Oracle Database 23ai.
La segunda demostración mostrará un prototipo de prueba de concepto que utiliza GPU NVIDIA, NVIDIA cuVS y un marco de descarga desarrollado por Oracle para acelerar la generación de índices de gráficos vectoriales, lo que reduce significativamente el tiempo necesario para crear índices para búsquedas vectoriales eficientes.
La tercera demostración ilustra cómo NVIDIA NIM , un conjunto de microservicios de inferencia fáciles de usar, puede mejorar el rendimiento de la IA generativa para casos de uso de generación y traducción de texto en una variedad de tamaños de modelos y niveles de concurrencia.
En conjunto, estas nuevas capacidades y demostraciones de Oracle Database resaltan cómo se pueden usar las GPU NVIDIA para ayudar a las empresas a incorporar IA generativa a sus datos estructurados y no estructurados alojados o administrados por una Oracle Database.
Inteligencia artificial soberana en todo el mundo
NVIDIA y Oracle están colaborando para ofrecer infraestructura de IA soberana en todo el mundo, ayudando a abordar las necesidades de residencia de datos de gobiernos y empresas.
La startup brasileña Wide Labs entrenó e implementó Amazonia IA, uno de los primeros modelos de lenguaje de gran tamaño para portugués brasileño, utilizando GPU NVIDIA H100 Tensor Core y el marco NVIDIA NeMo en los centros de datos brasileños de OCI para ayudar a garantizar la soberanía de los datos.
“El desarrollo de un LLM soberano nos permite ofrecer a los clientes un servicio que procesa sus datos dentro de las fronteras brasileñas, lo que le otorga a Amazônia una posición única en el mercado”, afirmó Nelson Leoni, director ejecutivo de Wide Labs. “Usando el marco NVIDIA NeMo, capacitamos con éxito a Amazônia IA”.
En Japón, Nomura Research Institute, un proveedor líder mundial de servicios de consultoría y soluciones de sistemas, está utilizando la infraestructura Alloy de OCI con GPU NVIDIA para mejorar su plataforma de inteligencia artificial financiera con LLM que operan de acuerdo con las regulaciones financieras y los requisitos de soberanía de datos.
La empresa de comunicación y colaboración Zoom utilizará GPU NVIDIA en los centros de datos de OCI en Arabia Saudita para ayudar a respaldar el cumplimiento de los requisitos de datos locales.
Y la empresa de modelado geoespacial RSS-Hydro está demostrando cómo su plataforma de mapeo de inundaciones, construida sobre la plataforma NVIDIA Omniverse y potenciada por GPU L40S en OCI, puede usar gemelos digitales para simular los impactos de las inundaciones en la región de Kumamoto en Japón, ayudando a mitigar el impacto del cambio climático.
Estos clientes se encuentran entre numerosas naciones y organizaciones que crean e implementan aplicaciones de IA nacionales impulsadas por NVIDIA y OCI, impulsando la resiliencia económica a través de una infraestructura de IA soberana.
Inteligencia artificial preparada para la empresa con NVIDIA y Oracle
Las empresas pueden acelerar la automatización de tareas en OCI mediante la implementación de software NVIDIA, como los microservicios NIM y NVIDIA cuOpt, con las soluciones de nube escalables de OCI. Estas soluciones permiten a las empresas adoptar rápidamente la IA generativa y crear flujos de trabajo de agentes para tareas complejas, como la generación de código y la optimización de rutas. Nvidia. Centro de datos. D.S.
Contacto