Categoría: Robótica y Automatización

Con el lanzamiento del Acelerador de IA de Universal Robots en ROSCon, abrimos un nuevo puente hacia el mundo de la IA física, pero ¿cómo beneficia esto a nuestra base de clientes existente y a las aplicaciones que nuestros cobots ya realizan? El futuro de la programación de robots La IA está llamada a revolucionar la forma en que programamos robots, pasando de la programación actual de movimientos y manejo de E/S línea por línea a la orden de comportamientos de nivel superior para completar tareas con éxito. Los enfoques basados ​​en el aprendizaje por imitación/refuerzo, los modelos de acción del lenguaje de visión y los modelos básicos de robótica son vías prometedoras de investigación para el control adaptativo de robots. Estos no solo simplificarán enormemente la forma en que interactuamos con los robots y los controlamos, sino que también abrirán soluciones para tareas que actualmente son muy difíciles de lograr, como conectar cables flexibles o manipular textiles. Incorporando la IA a las aplicaciones existentes Para el fabricante medio que acaba de empezar a trabajar con los cobots, es comprensible que le resulte un poco difícil ver cómo le van a ayudar en el corto plazo. Eso es parte de lo que hemos estado haciendo con el Acelerador de IA: fusionar la flexibilidad que aporta la IA moderna con paradigmas de programación más maduros, lo que da como resultado una solución que puede gestionar las variaciones del espacio de trabajo y también proporciona con mayor facilidad la velocidad y la precisión que esperan los clientes industriales. Este enfoque ofrece un camino a seguir para aquellos fabricantes que aún tienen dudas sobre si la IA ha alcanzado un nivel de madurez adecuado para su integración en sus procesos. Visión de la IA de aprendizaje profundo La visión artificial ya es bastante común en los entornos de fabricación, y la localización e inspección de piezas son dos de los principales casos de uso. Aún así, menos del 20 % de las aplicaciones de cobots utilizan sistemas de visión. ¿Por qué? La mayoría de los sistemas de visión que no son de IA requieren una configuración experta y se los considera complejos y costosos de mantener. La mayoría de los usuarios optarán por invertir tiempo y dinero en producir accesorios para sus piezas, renunciando a la mayor flexibilidad que permite la visión. Entonces, ¿en qué es diferente la visión de la IA? Cuando una persona ve un objeto que conoce, puede reconocerlo si tiene un acabado de superficie diferente, está bajo condiciones de iluminación diferentes o está colocado sobre un fondo diferente, o incluso si tiene un tamaño o una forma ligeramente diferentes. Esto es difícil para un sistema de visión tradicional que depende en gran medida del alto contraste entre el fondo y el objeto y de la repetición del tamaño y la forma del objeto para detectarlo. Con los sistemas de visión de aprendizaje profundo, podemos entrenar este tipo de variabilidad en un único modelo, de modo que esté preparado para todas las diferentes variaciones ambientales que le presentamos. Además, ya no es necesario que un usuario obtenga decenas o cientos de miles de imágenes para entrenar un modelo. Existe una amplia gama de modelos preentrenados disponibles con licencias permisivas que se pueden reutilizar para una amplia gama de tareas industriales con solo un breve proceso de reentrenamiento que requiere alrededor de 50 imágenes (que se pueden segmentar y etiquetar automáticamente). Funcionalidad del acelerador de IA Las interfaces incluidas en AI Accelerator facilitan la incorporación de capacidades de percepción avanzadas de Isaac ROS y de manipulación de Isaac de NVIDIA a su programa de robot existente. Estos son algunos de los casos de uso que hemos demostrado hasta ahora: Detección de objetos : podemos utilizar estos detectores de objetos para localizar y recoger objetos en el espacio de trabajo del robot, lo que reduce los requisitos de accesorios mecánicos rígidos. Estado del espacio de trabajo/verificación de la cordura : esto podría llamarse inspección, pero no estamos hablando de medir tolerancias en rutas hasta el nivel de micrones. Se trata de averiguar «esta cosa en el espacio de trabajo está en el estado en que debería estar para que el robot continúe/complete con éxito su tarea». Por ejemplo, en el cuidado de máquinas CNC, ¿mi trabajo se mantiene despejado? ¿Están todas las herramientas en mi máquina intactas y limpias? Realineación del espacio de trabajo : muchos de nuestros clientes mueven sus robots por sus entornos de producción para completar distintas tareas en distintos momentos. La realineación con un espacio de trabajo puede ser una tarea complicada, ya que requiere una colocación física precisa del robot o un proceso de reprogramación de los marcos de coordenadas. Con una cámara en el extremo del robot, este proceso se puede automatizar para que el robot pueda verificar dónde se encuentra en relación con el resto del espacio de trabajo y continuar con el trabajo sin mayores complicaciones. Planificación de rutas : trazar puntos de referencia en el espacio de trabajo para generar la trayectoria óptima para que el robot se desplace y entre y salga de las máquinas puede ser complicado, especialmente para los usuarios novatos. Con la planificación automática de rutas, esto puede ser mucho más fácil, pero las dificultades para proporcionar al planificador de rutas un modelo detallado del entorno del robot han sido tradicionalmente un obstáculo para la adopción generalizada. Tenemos algunas funciones adicionales interesantes que ayudarán con esto en el Acelerador de IA, así que esté atento. Valor para el usuario final Pasé la mayor parte de mis primeros ocho años en UR en funciones de atención al cliente, creando equipos de soporte que proporcionaban orientación sobre aplicaciones y ayudaban a resolver problemas cuando las cosas no funcionaban. Muchas veces, los problemas se debían a que el mundo que rodeaba al robot no estaba lo suficientemente bien arreglado para que el robot pudiera hacer su trabajo. No es culpa del robot, pero depende en gran medida de que las cosas permanezcan exactamente como estaban cuando se creó su programa. Con

El ritmo de la innovación tecnológica se ha acelerado durante el último año, sobre todo en el caso de la IA. Y en 2024, no había mejor lugar para participar en la creación de esos avances que NVIDIA Research . NVIDIA Research está formado por cientos de personas extremadamente brillantes que amplían las fronteras del conocimiento, no solo en IA, sino en muchas áreas de la tecnología. El año pasado, NVIDIA Research sentó las bases para futuras mejoras en el rendimiento de la GPU con importantes descubrimientos de investigación en circuitos, arquitectura de memoria y aritmética dispersa. La invención de nuevas técnicas gráficas por parte del equipo continúa elevando el nivel de la renderización en tiempo real. Además, desarrollamos nuevos métodos para mejorar la eficiencia de la IA, que requieren menos energía, requieren menos ciclos de GPU y ofrecen resultados aún mejores. Pero los avances más emocionantes del año han sido en IA generativa. Ahora podemos generar no sólo imágenes y texto, sino también modelos 3D, música y sonidos. También estamos desarrollando un mejor control sobre lo que se genera: para generar movimientos humanoides realistas y generar secuencias de imágenes con sujetos consistentes. La aplicación de la IA generativa a la ciencia ha dado como resultado pronósticos meteorológicos de alta resolución que son más precisos que los modelos meteorológicos numéricos convencionales. Los modelos de IA nos han dado la capacidad de predecir con precisión cómo responden los niveles de glucosa en sangre a diferentes alimentos. La IA generativa incorporada se está utilizando para desarrollar vehículos y robots autónomos. Y eso fue solo este año. A continuación, profundizamos en algunos de los mejores trabajos de inteligencia artificial generativa de NVIDIA Research en 2024. Por supuesto, seguimos desarrollando nuevos modelos y métodos para la IA, y esperamos resultados aún más emocionantes el próximo año. ConsiStory: Imágenes generadas por IA con la energía de los personajes principales ConsiStory , una colaboración entre investigadores de NVIDIA y la Universidad de Tel Aviv, facilita la generación de múltiples imágenes con un personaje principal consistente: una capacidad esencial para casos de uso narrativos como ilustrar una tira cómica o desarrollar un guión gráfico. El enfoque de los investigadores introdujo una técnica llamada atención compartida impulsada por el sujeto, que reduce el tiempo necesario para generar imágenes consistentes de 13 minutos a alrededor de 30 segundos. Lea el artículo de ConsiStory . Edify 3D: la IA generativa entra en una nueva dimensión NVIDIA Edify 3D es un modelo base que permite a los desarrolladores y creadores de contenido generar rápidamente objetos 3D que pueden usarse para crear prototipos de ideas y poblar mundos virtuales. Edify 3D ayuda a los creadores a idear, diseñar y conceptualizar rápidamente entornos inmersivos con recursos generados por IA. Los creadores de contenido, tanto principiantes como experimentados, pueden usar indicaciones de texto e imágenes para aprovechar el modelo, que ahora forma parte de la arquitectura multimodal de NVIDIA Edify para desarrollar IA generativa visual. Lea el artículo de Edify 3D y mire el vídeo en YouTube . Fugatto: máquina de sonido con inteligencia artificial flexible para música, voces y más Un equipo de investigadores de NVIDIA presentó recientemente Fugatto, un modelo de inteligencia artificial generativa fundamental que puede crear o transformar cualquier combinación de música, voces y sonidos basándose en indicaciones de texto o audio. El modelo puede, por ejemplo, crear fragmentos de música a partir de indicaciones de texto, añadir o quitar instrumentos de canciones existentes, modificar el acento o la emoción en una grabación de voz o generar sonidos completamente nuevos. Podría ser utilizado por productores musicales, agencias de publicidad, desarrolladores de videojuegos o creadores de herramientas de aprendizaje de idiomas. Lea el artículo de Fugatto . GluFormer: una inteligencia artificial predice los niveles de azúcar en sangre con cuatro años de antelación Investigadores del Instituto de Ciencias Weizmann, la startup Pheno.AI con sede en Tel Aviv y NVIDIA lideraron el desarrollo de GluFormer , un modelo de IA que puede predecir los niveles futuros de glucosa de un individuo y otras métricas de salud basándose en datos de monitoreo de glucosa anteriores. Los investigadores demostraron que, tras añadir datos de ingesta alimentaria al modelo, GluFormer también puede predecir cómo responderán los niveles de glucosa de una persona a alimentos específicos y cambios en la dieta, lo que permite una nutrición de precisión. El equipo de investigación validó GluFormer en otros 15 conjuntos de datos y descubrió que se generaliza bien para predecir los resultados de salud de otros grupos, incluidos aquellos con prediabetes, diabetes tipo 1 y tipo 2, diabetes gestacional y obesidad. Lea el artículo sobre GluFormer . LATTE3D: permite la generación casi instantánea de texto a formas 3D  Otro generador 3D lanzado por NVIDIA Research este año es LATTE3D , que convierte indicaciones de texto en representaciones 3D en un segundo, como una impresora 3D virtual y veloz. Las formas generadas, creadas en un formato popular utilizado para aplicaciones de renderizado estándar, se pueden utilizar fácilmente en entornos virtuales para desarrollar videojuegos, campañas publicitarias, proyectos de diseño o campos de entrenamiento virtuales para robótica. Lea el artículo LATTE3D . MaskedMimic: Reconstrucción del movimiento realista de robots humanoides Para avanzar en el desarrollo de robots humanoides, los investigadores de NVIDIA presentaron MaskedMimic , un marco de inteligencia artificial que aplica la técnica de restauración de imágenes (el proceso de reconstrucción de datos completos a partir de una vista incompleta o enmascarada) a las descripciones de movimiento. Si se le proporciona información parcial, como una descripción textual del movimiento o datos de la posición de la cabeza y las manos de un casco de realidad virtual, MaskedMimic puede completar los espacios en blanco para inferir el movimiento de todo el cuerpo. Se ha convertido en parte del Proyecto GR00T de NVIDIA , una iniciativa de investigación para acelerar el desarrollo de robots humanoides. Lea el artículo de MaskedMimic . StormCast: mejora la predicción meteorológica y la simulación climática  En el campo de la ciencia climática, NVIDIA Research anunció StormCast , un modelo de IA generativa para emular la dinámica atmosférica. Mientras que otros modelos de aprendizaje automático entrenados con datos globales tienen una resolución espacial de unos 30 kilómetros