Se espera que se convierta en el conjunto de datos más grande del mundo, el lanzamiento inicial de datos sintéticos estandarizados ahora está disponible para los desarrolladores de robótica como código abierto.
Enseñar a los robots y vehículos autónomos cómo interactuar con el mundo físico requiere grandes cantidades de datos de alta calidad. Para dar a los investigadores y desarrolladores una ventaja, NVIDIA está lanzando un conjunto de datos masivo de código abierto para construir la próxima generación de IA física.
Anunciado en GTC NVIDIA, una conferencia global de IA que se llevará a cabo esta semana en San José, California, este conjunto de datos pre-validado de grado comercial puede ayudar a los investigadores y desarrolladores a poner en marcha proyectos de IA física que pueden ser prohibitivamente difíciles de comenzar desde cero. Los desarrolladores pueden usar directamente el conjunto de datos para el modelo preentrenamiento, pruebas y validación — o úselo durante post-entrenamiento para afinar los modelos de fundaciones mundiales, acelerando el camino hacia la implementación.
El conjunto de datos inicial es ahora disponible en Hugging Face15 Terabytes de datos que representan más de 320,000 trayectorias para la capacitación en robótica, más hasta 1,000 Descripción de la Escena Universal (OpenUSD) activos, incluyendo a SimReady colección. Datos dedicados para apoyar el desarrollo de vehículos autónomos (AV) de extremo a extremo —, que incluirá clips de 20 segundos de diversos escenarios de tráfico que abarcan más de 1,000 ciudades en los Estados Unidos y dos docenas de países europeos — llegará pronto.
Este conjunto de datos crecerá con el tiempo para convertirse en el conjunto de datos unificado y abierto más grande del mundo para el desarrollo físico de la IA. Podría aplicarse para desarrollar modelos de IA para alimentar robots que maniobran de manera segura los entornos de almacén, robots humanoides que apoyan a los cirujanos durante los procedimientos y AV que pueden navegar escenarios de tráfico complejos como zonas de construcción.
El conjunto de datos NVIDIA Physical AI está programado para contener un subconjunto del mundo real y datos sintéticos NVIDIA utiliza para entrenar, probar y validar la IA física para el Cosmos NVIDIA plataforma de desarrollo de modelos mundiales, el NVIDIA DRIVE AV pila de software, el NVIDIA Isaac Plataforma de desarrollo de robots de IA y el Metrópolis NVIDIA marco de aplicación para ciudades inteligentes.
Los primeros en adoptar incluyen el Berkeley DeepDrive Center de la Universidad de California, Berkeley, el Carnegie Mellon Safe AI Lab y el Contextual Robotics Institute de la Universidad de California, San Diego.
“Podemos hacer muchas cosas con este conjunto de datos, como entrenar modelos predictivos de IA que ayuden a los vehículos autónomos a rastrear mejor los movimientos de usuarios vulnerables de la carretera como peatones para mejorar la seguridad,” dijo Henrik Christensen, director de robótica múltiple y laboratorios de vehículos autónomos en UCSD. “Un conjunto de datos que proporciona un conjunto diverso de entornos y clips más largos que los recursos de código abierto existentes será tremendamente útil para avanzar en robótica e investigación AV.”
Abordar la Necesidad de Datos Físicos de IA
El conjunto de datos NVIDIA Physical AI puede ayudar a los desarrolladores escala el rendimiento de la IA durante el preentrenamiento, donde más datos ayudan a construir un modelo más robusto — y durante el postentrenamiento, donde un modelo de IA se entrena en datos adicionales para mejorar su rendimiento para un caso de uso específico.
Recopilar, seleccionar y anotar un conjunto de datos que cubra diversos escenarios y represente con precisión la física y la variación del mundo real lleva mucho tiempo, presentando un cuello de botella para la mayoría de los desarrolladores. Para los investigadores académicos y las pequeñas empresas, ejecutar una flota de vehículos durante meses para recopilar datos para la IA de vehículos autónomos es poco práctico y costoso — y, dado que gran parte de las imágenes recopiladas no tienen incidentes, generalmente solo el 10% de los datos se utilizan para la capacitación.
Pero esta escala de recopilación de datos es esencial para construir modelos seguros, precisos y de grado comercial. NVIDIA Isaac GR00T los modelos de robótica tardan miles de horas de videoclips para el post-entrenamiento — el Modelo GR00T N1, por ejemplo, fue entrenado en un conjunto de datos humanoides expansivo de datos reales y sintéticos. El NVIDIA DRIVE AV el modelo de IA de extremo a extremo para vehículos autónomos requiere decenas de miles de horas de datos de conducción para desarrollarse.
Reproductor de Video
00:02
00:05
Este conjunto de datos abierto, que comprende miles de horas de video multicámara a una diversidad, escala y geografía sin precedentes — beneficiará particularmente el campo de la investigación de seguridad al permitir un nuevo trabajo para identificar valores atípicos y evaluar el rendimiento de la generalización del modelo. El esfuerzo contribuye a Halos NVIDIA’ sistema de seguridad AV de pila completa.
Además de aprovechar el conjunto de datos de IA física de NVIDIA para ayudar a satisfacer sus necesidades de datos, los desarrolladores pueden impulsar aún más el desarrollo de IA con herramientas como NVIDIA NeMo Curador, que procesan vastos conjuntos de datos de manera eficiente para la capacitación y personalización de modelos. Usando NeMo Curator, se pueden procesar 20 millones de horas de video en solo dos semanas en las GPU NVIDIA Blackwell, en comparación con 3.4 años en tuberías de CPU no optimizadas.
Los desarrolladores de robótica también pueden tocar el nuevo Plan NVIDIA Isaac GR00T para la generación de movimiento de manipulación sintética, un flujo de trabajo de referencia basado en Omniverso NVIDIA y Cosmos NVIDIA eso utiliza un pequeño número de demostraciones humanas para crear cantidades masivas de trayectorias de movimiento sintético para la manipulación de robots.
Laboratorios Universitarios Establecidos para Adoptar el Conjunto de Datos para el Desarrollo de IA
Los laboratorios de robótica en UCSD incluyen equipos enfocados en aplicaciones médicas, humanoides y tecnología de asistencia en el hogar. Christensen anticipa que los datos robóticos de Physical AI Datasetts podrían ayudar a desarrollar modelos semánticos de IA que comprendan el contexto de espacios como hogares, habitaciones de hotel y hospitales.
“Uno de nuestros objetivos es lograr un nivel de comprensión de dónde, si se le pidiera a un robot que guardara sus comestibles, sabría exactamente qué artículos deberían ir en la nevera y qué hay en la despensa,”, dijo.
En el campo de los vehículos autónomos, el laboratorio de Christensenenss podría aplicar el conjunto de datos para entrenar modelos de IA para comprender la intención de varios usuarios de la carretera y predecir la mejor acción a tomar. Sus equipos de investigación también podrían utilizar el conjunto de datos para apoyar el desarrollo de gemelos digitales que simulan casos de borde y condiciones climáticas desafiantes. Estas simulaciones podrían usarse para entrenar y probar modelos de conducción autónoma en situaciones que son raras en entornos del mundo real.
En Berkeley DeepDrive, un centro de investigación líder en IA para sistemas autónomos, el conjunto de datos podría apoyar el desarrollo de modelos de políticas y modelos de bases mundiales para vehículos autónomos.
“La diversidad de datos es increíblemente importante para entrenar modelos de fundaciones,” dijo Wei Zhan, codirector de Berkeley DeepDrive. “Este conjunto de datos podría apoyar la investigación de vanguardia para equipos del sector público y privado que desarrollan modelos de IA para vehículos autónomos y robótica
Investigadores del Safe AI Lab de Carnegie Mellon University planean usar el conjunto de datos para avanzar en su trabajo evaluando y certificando la seguridad de los automóviles sin conductor. El equipo planea probar cómo funciona un modelo de base de IA física entrenado en este conjunto de datos en un entorno de simulación con condiciones raras — y comparar su rendimiento con un modelo AV entrenado en conjuntos de datos existentes.
“Este conjunto de datos cubre diferentes tipos de carreteras y geografías, diferentes infraestructuras, diferentes entornos climáticos,” dijo Ding Zhao, profesor asociado de CMU y jefe del Safe AI Lab. “Su diversidad podría ser bastante valiosa para ayudarnos a entrenar un modelo con capacidades de razonamiento causal en el mundo físico que comprenda casos de borde y problemas de cola larga
Acceda al conjunto de datos de NVIDIA Physical AI en Abrazo de Cara. Construir conocimiento fundamental con cursos como el Aprenda la ruta de aprendizaje de OpenUSD y Robótica Fundamentos ruta de aprendizaje. Y para obtener más información sobre los últimos avances en IA física, observe la nota clave de GTC del fundador y CEO de NVIDIA, Jensen Huang.
Ver aviso respecto a la información del producto de software.
NVIDIA Blog. W. K. Traducido al español
Contacto