Categoría: Robótica y Automatización

Los robots humanoides presentan un desafío multifacético en la intersección de la mecatrónica, la teoría de control y la inteligencia artificial. La dinámica y el control de los robots humanoides son complejos y requieren herramientas, técnicas y algoritmos avanzados para mantener el equilibrio durante las tareas de locomoción y manipulación. La recopilación de datos del robot y la integración de sensores también plantean desafíos importantes, ya que los robots humanoides requieren una fusión de sensores sofisticados y cámaras de alta resolución para percibir el entorno de manera efectiva y razonar cómo interactuar con el entorno en tiempo real. Las demandas computacionales para el procesamiento en tiempo real de datos sensoriales y la toma de decisiones también requieren computadoras potentes a bordo.  El desarrollo de tecnologías, herramientas y modelos básicos de robots que permitan un comportamiento adaptativo de los robots y faciliten la interacción natural entre humanos y robots sigue siendo un objetivo de investigación en curso. NVIDIA Project GR00T es una iniciativa de investigación activa que tiene como objetivo permitir que el ecosistema de robots humanoides de los constructores acelere estos esfuerzos de desarrollo de robots avanzados de próxima generación. En esta publicación, analizaremos los nuevos flujos de trabajo de GR00T para el desarrollo de humanoides, incluidos: GR00T-Gen para la generación de entornos diversos GR00T-Gen es un flujo de trabajo para generar tareas de robot y entornos listos para simulación en OpenUSD para entrenar robots generalistas para realizar manipulación, locomoción y navegación. Para que el aprendizaje de los robots sea sólido , es importante entrenarlos en entornos diversos con una variedad de objetos y escenas. Generar una gran variedad de entornos en el mundo real suele ser costoso, requiere mucho tiempo y no es accesible para la mayoría de los desarrolladores, lo que hace que la simulación sea una alternativa atractiva.   GR00T-Gen ofrece entornos realistas y diversos centrados en el ser humano, creados mediante modelos de lenguaje de gran tamaño (LLM) y modelos de IA generativos en 3D. Cuenta con más de 2500 recursos en 3D que abarcan más de 150 categorías de objetos. Para crear escenas visualmente diversas, se incluyen múltiples texturas para la aleatorización de dominios en la simulación. La aleatorización de dominios permite que los modelos y las políticas entrenados se generalicen de manera efectiva cuando se implementan en el mundo real.  GR00T-Gen proporciona soporte entre encarnaciones para manipuladores móviles y robots humanoides e incluye más de 100 tareas como abrir puertas, presionar botones y navegar. GR00T-Mimic para generación de movimiento y trayectoria de robots GR00T-Mimic es un flujo de trabajo sólido para generar datos de movimiento a partir de demostraciones teleoperadas para el aprendizaje por imitación. El aprendizaje por imitación es un enfoque para entrenar robots en el que estos adquieren habilidades a través de la observación y la réplica de acciones demostradas por un profesor. Un componente fundamental de este proceso de entrenamiento es el volumen y la calidad de los datos de demostración disponibles.  Para que los robots humanoides puedan desenvolverse de manera eficaz y segura en entornos centrados en humanos, es importante que sus “maestros” sean demostradores humanos, lo que les permite aprender imitando el comportamiento humano. Sin embargo, surge un desafío importante debido a la escasez de datos de entrenamiento de alta calidad existentes.  Para abordar este problema, es necesario desarrollar conjuntos de datos extensos que capturen las acciones humanas. Un método prometedor para generar estos datos es la teleoperación, en la que un operador humano controla de forma remota un robot para demostrar tareas específicas. Si bien la teleoperación puede producir datos de demostración de alta fidelidad, está limitada por la cantidad de personas que pueden acceder a estos sistemas en un momento dado. GR00T-Mimic tiene como objetivo ampliar la cadena de recolección de datos. El enfoque implica reunir una cantidad limitada de demostraciones humanas en el mundo físico utilizando dispositivos de realidad extendida (XR) y computación espacial como Apple Vision Pro. Estas demostraciones iniciales se utilizan luego para generar datos de movimiento sintéticos, lo que amplía de manera efectiva el conjunto de datos de demostración. El objetivo es crear un repositorio integral de acciones humanas para que los robots aprendan de ellas, mejorando así su capacidad para realizar tareas en entornos del mundo real. Para respaldar aún más a GR00T-Mimic, NVIDIA Research también lanzó SkillMimicGen , un primer paso fundamental para resolver tareas de manipulación del mundo real con demostraciones humanas mínimas.  GR00T-Destreza para manipulación diestra y de grano fino  GR00T-Dexterity es un conjunto de modelos y políticas para la manipulación diestra de grano fino y flujos de trabajo de referencia para desarrollarlos.  El agarre tradicional de los robots requiere la integración de múltiples componentes complejos, desde la identificación de los puntos de agarre hasta la planificación de los movimientos y el control de los dedos. En el caso de los robots con muchos actuadores, la gestión de estos sistemas (especialmente mediante el uso de máquinas de estado para gestionar fallos como agarres fallidos) hace que el agarre de extremo a extremo sea un desafío importante. GR00T-Dexterity presenta un flujo de trabajo que aprovecha el artículo de investigación DextrAH-G . Es un enfoque basado en el aprendizaje de refuerzo (RL) para el desarrollo de políticas para la destreza de los robots. Este flujo de trabajo permite la creación de un sistema de agarre de extremo a extremo, de píxeles a acción, entrenado en simulación e implementable en un robot físico. El flujo de trabajo está diseñado para producir políticas capaces de un agarre rápido y reactivo con entrada de flujo de profundidad, y es generalizable a nuevos objetos.  El proceso implica la creación de una estructura geométrica para definir el espacio de movimiento del robot y simplificar las acciones de agarre, optimizada para el entrenamiento en paralelo. Mediante el uso de NVIDIA Isaac Lab , se entrena una política guiada por la estructura mediante la aplicación del aprendizaje de refuerzo en varias GPU para generalizar los comportamientos de agarre. Por último, la política aprendida se destila en una versión lista para el mundo real mediante la entrada de profundidad a través del aprendizaje por imitación, lo que produce