Los flujos de trabajo de Isaac GR00T para datos sintéticos y los modelos básicos del mundo NVIDIA Cosmos potencian el desarrollo de robots humanoides generales.
Se espera que en las próximas dos décadas el mercado de robots humanoides alcance los 38.000 millones de dólares. Para satisfacer esta importante demanda, en particular en los sectores industrial y de fabricación, NVIDIA está lanzando una colección de modelos básicos de robots, canales de datos y marcos de simulación para acelerar los esfuerzos de desarrollo de robots humanoides de próxima generación .
Anunciado por el fundador y CEO de NVIDIA, Jensen Huang, hoy en la feria comercial CES , el NVIDIA Isaac GR00T Blueprint para la generación de movimiento sintético ayuda a los desarrolladores a generar datos de movimiento sintético exponencialmente grandes para entrenar a sus humanoides mediante el aprendizaje por imitación.
El aprendizaje por imitación (un subconjunto del aprendizaje robótico ) permite a los humanoides adquirir nuevas habilidades mediante la observación e imitación de demostraciones humanas expertas. Recopilar estos conjuntos de datos extensos y de alta calidad en el mundo real es una tarea tediosa, que requiere mucho tiempo y, a menudo, resulta prohibitivamente costosa. La implementación del modelo Isaac GR00T para la generación de movimiento sintético permite a los desarrolladores generar fácilmente conjuntos de datos sintéticos exponencialmente grandes a partir de una pequeña cantidad de demostraciones humanas.
A partir del flujo de trabajo GR00T-Teleop, los usuarios pueden acceder a Apple Vision Pro para capturar acciones humanas en un gemelo digital . Estas acciones humanas son imitadas por un robot en una simulación y registradas para su uso como datos reales.
A continuación, el flujo de trabajo GR00T-Mimic multiplica la demostración humana capturada en un conjunto de datos de movimiento sintético más grande. Por último, el flujo de trabajo GR00T-Gen, creado sobre las plataformas NVIDIA Omniverse y NVIDIA Cosmos , expande exponencialmente este conjunto de datos a través de la aleatorización de dominios y el escalado 3D.
El conjunto de datos se puede utilizar luego como entrada para la política de robots, que enseña a los robots cómo moverse e interactuar con su entorno de manera efectiva y segura en NVIDIA Isaac Lab , un marco modular y de código abierto para el aprendizaje de robots.
Los modelos de World Foundation reducen la brecha entre lo simulado y lo real
NVIDIA también anunció Cosmos en CES, una plataforma que incluye una familia de modelos de base mundial abiertos y entrenados previamente, diseñados específicamente para generar videos y estados mundiales que tienen en cuenta la física para el desarrollo de IA física . Incluye modelos autorregresivos y de difusión en una variedad de tamaños y formatos de datos de entrada. Los modelos se entrenaron en 18 cuatrillones de tokens, incluidas 2 millones de horas de conducción autónoma, robótica, imágenes de drones y datos sintéticos .
Además de ayudar a generar grandes conjuntos de datos, Cosmos puede reducir la brecha entre simulación y realidad al escalar imágenes de 3D a reales. La combinación de Omniverse (una plataforma de desarrollo de interfaces de programación de aplicaciones y microservicios para crear aplicaciones y servicios 3D) con Cosmos es fundamental, porque ayuda a minimizar las posibles alucinaciones que suelen asociarse con los modelos del mundo al brindar salvaguardas cruciales a través de sus simulaciones físicamente precisas y altamente controlables.
Un ecosistema en expansión
En conjunto, NVIDIA Isaac GR00T , Omniverse y Cosmos están ayudando a que la IA física y la innovación humanoide den un gran paso adelante. Las principales empresas de robótica han comenzado a adoptar Isaac GR00T y han demostrado resultados con él, incluidas Boston Dynamics y Figure.
Los fabricantes de software, hardware y robots humanoides pueden solicitar acceso anticipado al programa para desarrolladores de robots humanoides de NVIDIA.
Mire la conferencia inaugural del CES a cargo del fundador y director ejecutivo de NVIDIA, Jensen Huang, y manténgase actualizado suscribiéndose al boletín y siguiendo a NVIDIA Robotics en LinkedIn , Instagram , X y Facebook .
Consulte el aviso sobre la información del producto de software. NVIDIA Blog. S. H. Traducido al español
Contacto