Los modelos de IA física —que impulsan robots, vehículos autónomos y otras máquinas inteligentes— deben ser seguros, generalizables para escenarios dinámicos y capaces de percibir, razonar y operar en tiempo real. A diferencia de los grandes modelos de lenguaje que pueden entrenarse con conjuntos de datos masivos de internet, los modelos de IA física deben aprender de datos del mundo real.
Sin embargo, recopilar datos suficientes que abarquen esta amplia variedad de escenarios en el mundo real es increíblemente difícil y, en algunos casos, peligroso. La generación de datos sintéticos basados en principios físicos ofrece una solución clave para abordar esta deficiencia.
NVIDIA ha publicado recientemente actualizaciones para los modelos de mundo abierto (WFM) de NVIDIA Cosmos con el fin de acelerar la generación de datos para probar y validar modelos de IA física. Mediante las bibliotecas de NVIDIA Omniverse y Cosmos, los desarrolladores pueden generar datos sintéticos basados en la física a una escala increíble.
Cosmos Predict 2.5 ahora unifica tres modelos separados — Text2World, Image2World y Video2World — en una única arquitectura ligera que genera mundos de vídeo multicámara consistentes y controlables a partir de una sola imagen, vídeo o indicación.
Cosmos Transfer 2.5 permite la transferencia de mundo a mundo con alta fidelidad y control espacial para amplificar la variación de datos. Los desarrolladores pueden añadir nuevas condiciones climáticas, de iluminación y de terreno a sus entornos simulados en múltiples cámaras. Cosmos Transfer 2.5 es 3,5 veces más pequeño que su predecesor, lo que ofrece un rendimiento más rápido con una alineación rápida mejorada y mayor precisión física.
Estos WFM pueden integrarse en flujos de datos sintéticos que se ejecutan en el marco de simulación robótica de código abierto NVIDIA Isaac Sim , basado en la plataforma NVIDIA Omniverse , para generar vídeos fotorrealistas que reducen la brecha entre la simulación y la realidad. Los desarrolladores pueden consultar un flujo de cuatro partes para la generación de datos sintéticos :
- Bibliotecas de reconstrucción neuronal NVIDIA Omniverse NuRec para reconstruir un gemelo digital de un entorno del mundo real en OpenUSD , comenzando con tan solo un teléfono inteligente .
- Recursos SimReady para poblar un gemelo digital con modelos 3D físicamente precisos.
- El flujo de trabajo de MobilityGen en Isaac Sim para generar datos sintéticos.
- NVIDIA Cosmos para aumentar los datos generados.
De la simulación al mundo real
Las principales empresas de robótica e inteligencia artificial ya están utilizando estas tecnologías para acelerar el desarrollo de la IA física.
Skild AI , que construye cerebros robóticos de propósito general, está utilizando Cosmos Transfer para aumentar los datos existentes con nuevas variaciones para probar y validar las políticas robóticas entrenadas en el laboratorio NVIDIA Isaac .
Skild AI utiliza Isaac Lab para crear entornos de simulación escalables donde sus robots pueden entrenarse en diversas configuraciones y aplicaciones. Al combinar las capacidades de simulación robótica de Isaac Lab con la generación de datos sintéticos de Cosmos, Skild AI puede entrenar la inteligencia artificial de sus robots en condiciones diversas sin las limitaciones de tiempo y costo que implica la recopilación de datos del mundo real.
Serve Robotics utiliza datos sintéticos generados a partir de miles de escenarios simulados en NVIDIA Isaac Sim. Estos datos sintéticos se combinan con datos reales para entrenar modelos de IA física. La empresa ha creado una de las mayores flotas de robots autónomos que operan en espacios públicos y ha completado más de 100 000 entregas de comida a domicilio en zonas urbanas. Los robots de Serve recopilan mensualmente 1,6 millones de kilómetros de datos, incluyendo casi 170 000 millones de muestras de imágenes LiDAR, que se utilizan en simulaciones para mejorar aún más los modelos robóticos.
Obtenga más información sobre cómo Serve Robotics utiliza a Isaac Sim para acelerar el desarrollo, las pruebas y el despliegue de sus robots de reparto a pie de calle viendo la siguiente transmisión en directo.
Además de repartir comida, Serve utilizó recientemente sus robots para entregar potencia informática, proporcionando supercomputadoras personales de IA NVIDIA DGX Spark a Refik Anadol, Will.I.AM y Ollama. Con un rendimiento de IA de 1 petaflop, DGX Spark ofrece a los desarrolladores capacidades de escritorio para flujos de trabajo que abarcan desde la creación de prototipos y el ajuste de modelos de IA hasta la inferencia y el desarrollo de robótica.
La empresa de reparto con drones autónomos Zipline también participó en la presentación del DGX Spark. Jo Mardall, directora de hardware, recibió un DGX Spark mediante un dron en la sede central y centro de pruebas de la compañía en Half Moon Bay, California. Zipline utiliza la plataforma de robótica e inteligencia artificial NVIDIA Jetson para sus sistemas de reparto con drones.
Descubre cómo los desarrolladores utilizan datos sintéticos
Lightwheel , proveedor de soluciones robóticas basadas en simulación, ayuda a las empresas a cerrar la brecha entre la simulación y la realidad con recursos SimReady y conjuntos de datos sintéticos a gran escala. Gracias a los datos sintéticos de alta calidad y los entornos de simulación basados en OpenUSD, el enfoque de Lightwheel garantiza que los robots entrenados en simulación funcionen eficazmente en escenarios del mundo real, desde fábricas hasta hogares.
El científico de datos y miembro de la comunidad Omniverse, Santiago Villa, está utilizando datos sintéticos con las bibliotecas de Omniverse y el software Blender para mejorar las operaciones mineras mediante la identificación de grandes rocas que detienen las operaciones.
La presencia de rocas no detectadas en las trituradoras puede provocar retrasos de siete minutos o más por incidente, lo que supone para las minas pérdidas de producción de hasta 650 000 dólares anuales. El uso de Omniverse para generar miles de imágenes sintéticas con anotaciones automáticas en diversas condiciones de iluminación y clima reduce drásticamente los costes de formación, a la vez que permite a las empresas mineras mejorar los sistemas de detección de rocas y evitar el tiempo de inactividad de los equipos.
Reproductor de video
00:04
00:07
FS Studio se asoció con un líder logístico global para mejorar la detección de paquetes mediante IA, creando miles de variaciones fotorrealistas de paquetes en diferentes condiciones de iluminación utilizando bibliotecas de Omniverse como Replicator . El conjunto de datos sintéticos mejoró drásticamente la precisión de la detección de objetos y redujo los falsos positivos, lo que se tradujo en mejoras significativas en la velocidad de procesamiento y el rendimiento del sistema en toda la red logística del cliente.
Robots for Humanity construyó un entorno de simulación completo en Isaac Sim para un cliente del sector de petróleo y gas, utilizando las bibliotecas de Omniverse para generar datos sintéticos, incluyendo profundidad, segmentación e imágenes RGB, mientras recopilaba datos de articulaciones y movimiento del robot Unitree G1 a través de teleoperación.
El embajador de Omniverse, Scott Dempsey, está desarrollando un sintetizador de generación de datos sintéticos que construye varios cables a partir de especificaciones de fabricantes del mundo real, utilizando Isaac Sim para generar datos sintéticos aumentados con Cosmos Transfer para crear conjuntos de datos de entrenamiento fotorrealistas para aplicaciones que detectan y manejan cables.
Conéctate al mundo de OpenUSD
Obtén más información sobre OpenUSD, Cosmos y datos sintéticos para IA física explorando estos recursos:
- Capacítate utilizando la ruta de aprendizaje “ Primeros pasos con Isaac Sim ”, que abarca Isaac Sim para la simulación de robots, la integración de ROS 2, la generación de datos sintéticos y más.
- Explora el flujo de trabajo de referencia de IA generativa para la generación de datos sintéticos .
- Desarrolle con los flujos de trabajo paso a paso, las recetas técnicas y los ejemplos concretos para el desarrollo de IA en el libro de recetas de NVIDIA Cosmos .
- Lee este blog técnico de NVIDIA para aprender cómo usar un iPhone para capturar una escena y reconstruirla usando NVIDIA Isaac Sim.
- Mira los vídeos de esta lista de reproducción de YouTube para conocer el flujo de trabajo de creación de datos sintéticos.
- Explora NVIDIA Brev para acceder a entornos de GPU totalmente configurados y herramientas de lanzamiento preconfiguradas para el desarrollo de IA física.
Mantente al día suscribiéndote a las noticias de NVIDIA Omniverse , uniéndote a la comunidad de Omniverse y siguiendo a Omniverse en Discord , Instagram , LinkedIn , Threads , X y YouTube .
Explora el foro de la Alianza para OpenUSD y el sitio web de AOUSD
NVIDIA News. K. W. Traducido al español
