- Las nuevas bibliotecas de salpicadura gaussiana 3D de NVIDIA Omniverse NuRec permiten la reconstrucción del mundo a gran escala
- Los nuevos modelos de cosmos de NVIDIA permiten la generación de mundos y el razonamiento espacial
- Los nuevos servidores NVIDIA RTX PRO Blackwell y NVIDIA DGX Cloud permiten a los desarrolladores ejecutar las simulaciones más exigentes en cualquier lugar
- Los líderes en IA física, Amazon Devices & Services, Boston Dynamics, Figure AI y Hexagon, adoptan la simulación y la generación de datos sintéticos.
NVIDIA anunció hoy las nuevas bibliotecas NVIDIA Omniverse ™ y los modelos de base mundial ( WFM ) NVIDIA Cosmos ™ que aceleran el desarrollo y la implementación de soluciones robóticas.
Impulsadas por los nuevos servidores NVIDIA RTX PRO™ y NVIDIA DGX™ Cloud , las bibliotecas y los modelos permiten a los desarrolladores en cualquier lugar desarrollar gemelos digitales físicamente precisos , capturar y reconstruir el mundo real en simulación, generar datos sintéticos para entrenar modelos de IA físicos y crear agentes de IA que comprendan el mundo físico.
“Los gráficos por computadora y la IA están convergiendo para transformar radicalmente la robótica”, afirmó el Rev. Lebaredian, vicepresidente de Omniverse y tecnologías de simulación de NVIDIA. “Al combinar el razonamiento de la IA con una simulación escalable y físicamente precisa, permitimos a los desarrolladores construir los robots y vehículos autónomos del futuro que transformarán billones de dólares en las industrias”.
Las nuevas bibliotecas NVIDIA Omniverse mejoran las aplicaciones para la composición de mundos
Los nuevos kits de desarrollo de software (SDK) y bibliotecas NVIDIA Omniverse ya están disponibles para crear e implementar aplicaciones de simulación de robótica e inteligencia artificial industrial .
- Los nuevos SDK de Omniverse introducen interoperabilidad de datos entre MuJoCo (MJCF) y Universal Scene Description (OpenUSD) , lo que permite que más de 250 000 desarrolladores de aprendizaje de robots MJCF simulen robots sin problemas en todas las plataformas.
- Las nuevas bibliotecas Omniverse NuRec y los modelos de IA introducen la salpicadura gaussiana 3D con trazado de rayos Omniverse RTX , una técnica de renderizado que permite a los desarrolladores capturar, reconstruir y simular el mundo real en 3D utilizando datos de sensores.
- Los frameworks de código abierto de simulación y aprendizaje de robots NVIDIA Isaac Sim™ 5.0 y NVIDIA Isaac Lab 2.2 ya están disponibles en GitHub . Isaac Sim ahora incluye renderizado neuronal NuRec y nuevos esquemas de robots y sensores basados en OpenUSD que ayudan a los desarrolladores de robots a acercar la simulación a la realidad.
El renderizado de Omniverse NuRec ya está integrado en CARLA , un simulador líder de código abierto utilizado por más de 150.000 desarrolladores. Foretellix, líder en la cadena de herramientas para vehículos autónomos (VA) , integra NuRec, NVIDIA Omniverse Sensor RTX ™ y Cosmos Transfer para optimizar la generación escalable de datos sintéticos con escenarios físicamente precisos. FiftyOne, el motor de datos de Voxel51 para IA visual y multimodal, es compatible con NuRec para facilitar la preparación de datos para las reconstrucciones. Clientes como Ford y Porsche utilizan FiftyOne.
Boston Dynamics, Figure AI, Hexagon , RAI Institute, Lightwheel y Skild AI están adoptando las bibliotecas Omniverse, Isaac Sim e Isaac Lab para acelerar su desarrollo de robótica de IA, mientras que Amazon Devices & Services las está utilizando para impulsar una nueva solución de fabricación.
Cosmos avanza en la generación de mundos para robótica
Los WFM de Cosmos, descargados más de 2 millones de veces, permiten a los desarrolladores generar datos diversos para entrenar robots a escala utilizando indicaciones de texto, imágenes y videos.
Los nuevos modelos anunciados en SIGGRAPH ofrecen avances importantes en velocidad de generación de datos sintéticos, precisión, soporte de lenguaje y control:
- Cosmos Transfer-2 , próximamente, simplifica la generación de indicaciones y acelera la generación de datos sintéticos fotorrealistas a partir de escenas de simulación 3D de verdad fundamental o entradas de control espacial como profundidad, segmentación, bordes y mapas de alta definición.
- Una versión destilada de Cosmos Transfer reduce el proceso de destilación de 70 pasos a uno para que los desarrolladores puedan ejecutar el modelo en servidores NVIDIA RTX PRO a una velocidad sin precedentes.
Lightwheel, Moon Surgical y Skild AI están utilizando Cosmos Transfer para acelerar el entrenamiento físico de la IA simulando diversas condiciones a escala.
Cosmos Reason avanza en la comprensión del mundo.
Desde la introducción del modelo CLIP de OpenAI, los modelos de lenguaje de visión (VLM) han transformado las tareas de visión artificial, como el reconocimiento de objetos y patrones. Sin embargo, aún no han podido resolver tareas de varios pasos ni gestionar la ambigüedad ni experiencias novedosas.
NVIDIA Cosmos Reason , un nuevo VLM de razonamiento abierto, personalizable y de 7 mil millones de parámetros para IA física y robótica, permite que los robots y los agentes de IA de visión razonen como humanos, utilizando conocimiento previo, comprensión de la física y sentido común para comprender y actuar en el mundo real.
Cosmos Reason se puede utilizar para aplicaciones de robótica e inteligencia artificial física, incluidas:
- Curación y anotación de datos , que permite a los desarrolladores automatizar la curación y anotación de alta calidad de conjuntos de datos de entrenamiento masivos y diversos.
- Planificación y razonamiento robóticos, que actúan como el cerebro para la toma de decisiones deliberada y metódica en un modelo robótico de visión, lenguaje y acción (VLA) . Cosmos Reason permite a los robots interpretar entornos y, dadas órdenes complejas, descomponerlas en tareas y ejecutarlas con sentido común, incluso en entornos desconocidos.
- Agentes de IA de análisis de video basados en NVIDIA Blueprint para la búsqueda y el resumen de videos que pueden extraer información valiosa y realizar análisis de causa raíz en volúmenes masivos de datos de video.
Los equipos de robótica de NVIDIA y NVIDIA DRIVE ™ utilizan Cosmos Reason para la curación y el filtrado de datos, la anotación y el análisis de volumen de datos (VLA) posterior al entrenamiento. Uber lo utiliza para anotar y subtitular los datos de entrenamiento de vehículos autónomos.
Magna está desarrollando Cosmos Reason como parte de su plataforma City Delivery —una solución totalmente autónoma y económica para entregas instantáneas— para ayudar a los vehículos a adaptarse más rápidamente a las nuevas ciudades. Cosmos Reason incorpora comprensión global al planificador de trayectorias a largo plazo de los vehículos. VAST Data , Milestone Systems y Linker Vision están adoptando Cosmos Reason para automatizar la monitorización del tráfico, mejorar la seguridad y optimizar la inspección visual en ciudades y entornos industriales.
La nueva infraestructura de inteligencia artificial de NVIDIA potencia las cargas de trabajo robóticas en cualquier lugar
Para permitir que los desarrolladores aprovechen al máximo estas tecnologías y bibliotecas de software avanzadas, NVIDIA anunció una infraestructura de inteligencia artificial diseñada para las cargas de trabajo más exigentes.
- Los servidores NVIDIA RTX PRO Blackwell ofrecen una única arquitectura para cada carga de trabajo de desarrollo de robots en cuanto a entrenamiento, generación de datos sintéticos , aprendizaje y simulación de robots .
- NVIDIA DGX Cloud , disponible en Microsoft Azure Marketplace , ofrece ahora a los desarrolladores de Omniverse una plataforma totalmente gestionada para simplificar la transmisión de aplicaciones basadas en OpenUSD y NVIDIA RTX™ a escala desde la nube, minimizando la orquestación y la gestión de la infraestructura. Accenture y Hexagon se encuentran entre los primeros líderes del sector en adoptar la plataforma.
Aceleración del ecosistema de desarrolladores
Para ayudar a los desarrolladores de robótica e IA física a avanzar en la adopción de tecnología de simulación y 3D, NVIDIA también anunció:
- Plan de estudios y certificación OpenUSD , que aborda la demanda de experiencia en USD, con el apoyo de los miembros de AOUSD : Adobe, Amazon Robotics, Ansys (parte de Synopsys), Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS y Trimble, así como líderes de la industria como Hexagon.
- Colaboración de código abierto con Lightwheel para integrar marcos de evaluación y entrenamiento de políticas de robots en NVIDIA Isaac Lab, que incluye capacidades de entrenamiento de aprendizaje de refuerzo paralelo, puntos de referencia y recursos listos para simulación para la manipulación y locomoción de robots.
Vea el discurso especial de NVIDIA Research en SIGGRAPH .
NVIDIA News. Traducido al español
