Herramientas como NVIDIA Isaac Sim mejoran la generación de datos sintéticos, mejorando el rendimiento del modelo de IA y acelerando el desarrollo de la robótica.
Compartir
Nota del editor: esta publicación es parte de Into the Omniverse , una serie centrada en cómo los desarrolladores, los profesionales 3D y las empresas pueden transformar sus flujos de trabajo utilizando los últimos avances en OpenUSD y NVIDIA Omniverse .
Las tecnologías de simulación escalables están impulsando el futuro de la robótica autónoma al reducir el tiempo y los costos de desarrollo.
Universal Scene Description (OpenUSD) ofrece un marco de datos escalable e interoperable para desarrollar mundos virtuales donde los robots pueden aprender a ser robots. Con las simulaciones basadas en OpenUSD de SimReady , los desarrolladores pueden crear escenarios ilimitados basados en el mundo físico.
Y NVIDIA Isaac Sim está avanzando en la simulación robótica basada en IA de percepción . Isaac Sim es una aplicación de referencia creada en la plataforma NVIDIA Omniverse para que los desarrolladores simulen y prueben robots controlados por IA en entornos virtuales basados en la física.
En AWS re:Invent, NVIDIA anunció que Isaac Sim ahora está disponible en instancias G6e de Amazon EC2 impulsadas por GPU NVIDIA L40S . Estas potentes instancias mejoran el rendimiento y la accesibilidad de Isaac Sim, lo que hace que las simulaciones robóticas de alta calidad sean más escalables y eficientes.
Estos avances en Isaac Sim marcan un salto significativo para el desarrollo de la robótica. Al permitir pruebas realistas y entrenamiento de modelos de IA en entornos virtuales, las empresas pueden reducir el tiempo de implementación y mejorar el rendimiento de los robots en una variedad de casos de uso.
Avances en la simulación robótica con generación de datos sintéticos
Empresas de robótica como Cobot, Field AI y Vention utilizan Isaac Sim para simular y validar el rendimiento de los robots, mientras que otras, como SoftServe y Tata Consultancy Services, utilizan datos sintéticos para generar modelos de IA para diversas aplicaciones robóticas.
La evolución del aprendizaje de los robots ha estado estrechamente relacionada con la tecnología de simulación. Los primeros experimentos en robótica dependían en gran medida de ensayos que exigían mucho trabajo y recursos. La simulación es una herramienta crucial para la creación de entornos físicamente precisos en los que los robots pueden aprender mediante ensayo y error, refinar algoritmos e incluso entrenar modelos de IA utilizando datos sintéticos.
La IA física describe modelos de IA que pueden comprender e interactuar con el mundo físico. Representa la próxima ola de máquinas y robots autónomos , como automóviles sin conductor, manipuladores industriales, robots móviles, humanoides e incluso infraestructuras dirigidas por robots, como fábricas y almacenes.
La simulación robótica , que forma la segunda computadora en la solución de tres computadoras , es una piedra angular del desarrollo de la IA física que permite a los ingenieros e investigadores diseñar, probar y refinar sistemas en un entorno virtual controlado.
Un enfoque que prioriza la simulación reduce significativamente el costo y el tiempo asociados con la creación de prototipos físicos y al mismo tiempo mejora la seguridad al permitir probar robots en escenarios que de otro modo podrían ser poco prácticos o peligrosos en la vida real.
Con un nuevo flujo de trabajo de referencia , los desarrolladores pueden acelerar la generación de conjuntos de datos 3D sintéticos con IA generativa mediante microservicios NIM de OpenUSD . Esta integración optimiza el proceso desde la creación de escenas hasta el aumento de datos, lo que permite un entrenamiento más rápido y preciso de los modelos de IA de percepción.
Los datos sintéticos pueden ayudar a abordar el desafío de los datos limitados, restringidos o no disponibles que se necesitan para entrenar varios tipos de modelos de IA, especialmente en visión artificial. El desarrollo de modelos de reconocimiento de acciones es un caso de uso común que puede beneficiarse de la generación de datos sintéticos.
Para aprender a crear un conjunto de datos de video de reconocimiento de acciones humanas con Isaac Sim, consulte el blog técnico sobre cómo escalar modelos de reconocimiento de acciones con datos sintéticos . Las simulaciones 3D ofrecen a los desarrolladores un control preciso sobre la generación de imágenes, lo que elimina las alucinaciones.
Simulación robótica para humanoides
Los robots humanoides son la próxima ola de inteligencia artificial corporizada, pero presentan un desafío en la intersección de la mecatrónica, la teoría del control y la inteligencia artificial. La simulación es crucial para resolver este desafío al proporcionar una plataforma segura, rentable y versátil para entrenar y probar humanoides.
Con NVIDIA Isaac Lab , un marco unificado de código abierto para el aprendizaje de robots basado en Isaac Sim, los desarrolladores pueden entrenar políticas de robots humanoides a escala mediante simulaciones. Los principales fabricantes de robots comerciales están adoptando Isaac Lab para gestionar movimientos e interacciones cada vez más complejos.
El proyecto GR00T de NVIDIA , una iniciativa de investigación activa para hacer posible el ecosistema de robots humanoides de los constructores, es pionero en flujos de trabajo como GR00T-Gen para generar tareas de robots y entornos listos para la simulación en OpenUSD. Estos se pueden utilizar para entrenar robots generalistas para que realicen manipulación, locomoción y navegación.
Una investigación publicada recientemente del Proyecto GR00T también muestra cómo se puede utilizar la simulación avanzada para entrenar humanoides interactivos. Con Isaac Sim, los investigadores desarrollaron un único controlador unificado para humanoides simulados físicamente llamado MaskedMimic . El sistema es capaz de generar una amplia gama de movimientos en diversos terrenos a partir de intenciones intuitivas definidas por el usuario.
Los gemelos digitales basados en la física simplifican el entrenamiento de la IA
Socios de distintas industrias están utilizando Isaac Sim, Isaac Lab, Omniverse y OpenUSD para diseñar, simular e implementar máquinas autónomas más inteligentes y capaces :
- Agility utiliza Isaac Lab para crear simulaciones que permiten que los comportamientos simulados del robot se transfieran directamente al robot, haciéndolo más inteligente, ágil y robusto cuando se implementa en el mundo real.
- Cobot utiliza Isaac Sim con su cobot impulsado por IA, Proxie, para optimizar la logística en almacenes, hospitales, sitios de fabricación y más.
- Cohesive Robotics ha integrado a Isaac Sim en su marco de software llamado Argus OS para desarrollar e implementar celdas de trabajo robóticas utilizadas en entornos de fabricación de alta mezcla.
- Field AI , un creador de modelos básicos de robots, utiliza Isaac Sim e Isaac Lab para evaluar el rendimiento de sus modelos en entornos complejos y no estructurados en industrias como la construcción, la manufactura, el petróleo y el gas, la minería y más.
- Fourier utiliza NVIDIA Isaac Gym e Isaac Lab para entrenar a su robot humanoide GR-2, utilizando aprendizaje de refuerzo y simulaciones avanzadas para acelerar el desarrollo, mejorar la adaptabilidad y mejorar el rendimiento en el mundo real.
- Foxglove integra Isaac Sim y Omniverse para permitir pruebas de robots, entrenamiento y análisis de datos de sensores eficientes en entornos 3D realistas.
- Galbot utilizó a Isaac Sim para verificar la generación de datos de DexGraspNet, un conjunto de datos a gran escala de 1,32 millones de agarres de ShadowHand, mejorando la funcionalidad de la mano robótica al permitir la validación escalable de diversas interacciones de objetos en 5355 objetos y 133 categorías.
- Standard Bots está simulando y validando el rendimiento de su robot R01 utilizado en configuraciones de fabricación y mecanizado.
- Wandelbots integra su plataforma NOVA con Isaac Sim para crear gemelos digitales basados en la física y entornos de entrenamiento intuitivos, simplificando la interacción de los robots y permitiendo pruebas, validación e implementación sin inconvenientes de sistemas robóticos en escenarios del mundo real.
Obtenga más información sobre cómo Wandelbots está impulsando el aprendizaje de robots con tecnología NVIDIA en esta grabación de transmisión en vivo:
Conéctese al mundo de OpenUSD
Los expertos de NVIDIA y los embajadores de Omniverse están organizando sesiones de oficina y grupos de estudio en vivo para brindarles a los desarrolladores de robótica orientación técnica y soporte para la resolución de problemas de Isaac Sim e Isaac Lab. Aprenda a comenzar a simular robots en Isaac Sim con este nuevo curso gratuito en NVIDIA Deep Learning Institute (DLI).
Para obtener más información sobre la optimización de los flujos de trabajo de OpenUSD, explore el nuevo plan de estudios de capacitación Learn OpenUSD a su propio ritmo , que incluye cursos DLI gratuitos para desarrolladores y profesionales 3D. Para obtener más recursos sobre OpenUSD, explore el foro Alliance for OpenUSD y el sitio web de AOUSD .
No te pierdas la conferencia magistral del CES a cargo del fundador y director ejecutivo de NVIDIA, Jensen Huang, en vivo en Las Vegas el lunes 6 de enero a las 6:30 p. m. (hora del Pacífico) para obtener más información sobre el futuro de la IA y los gráficos. nvidia News. Traducido al español
Contacto