En el panorama de rápida evolución de la IA, resulta cada vez más importante desarrollar modelos que puedan simular y predecir con precisión resultados en entornos físicos del mundo real para permitir la próxima generación de sistemas de IA físicos.
Ming-Yu Liu, vicepresidente de investigación de NVIDIA y miembro del IEEE, participó en el podcast de IA de NVIDIA para hablar sobre la importancia de los modelos de base mundial (WFM, por sus siglas en inglés), redes neuronales potentes que pueden simular entornos físicos. Los WFM pueden generar videos detallados a partir de datos de entrada de texto o imagen y predecir cómo evoluciona una escena combinando su estado actual (imagen o video) con acciones (como indicaciones o señales de control).
“Los modelos de base del mundo son importantes para los desarrolladores de IA física”, afirmó Liu. “Pueden imaginar muchos entornos diferentes y simular el futuro, por lo que podemos tomar buenas decisiones en función de esta simulación”.
Compartir
En el panorama de rápida evolución de la IA, resulta cada vez más importante desarrollar modelos que puedan simular y predecir con precisión resultados en entornos físicos del mundo real para permitir la próxima generación de sistemas de IA físicos.
Ming-Yu Liu, vicepresidente de investigación de NVIDIA y miembro del IEEE, participó en el podcast de IA de NVIDIA para hablar sobre la importancia de los modelos de base mundial (WFM, por sus siglas en inglés), redes neuronales potentes que pueden simular entornos físicos. Los WFM pueden generar videos detallados a partir de datos de entrada de texto o imagen y predecir cómo evoluciona una escena combinando su estado actual (imagen o video) con acciones (como indicaciones o señales de control).
“Los modelos de base del mundo son importantes para los desarrolladores de IA física”, afirmó Liu. “Pueden imaginar muchos entornos diferentes y simular el futuro, por lo que podemos tomar buenas decisiones en función de esta simulación”.
Esto es particularmente valioso para los sistemas de IA físicos , como robots y automóviles autónomos, que deben interactuar de forma segura y eficiente con el mundo real.
¿Por qué son importantes los modelos de la Fundación Mundial?
La creación de modelos del mundo suele requerir grandes cantidades de datos, cuya recopilación puede resultar difícil y costosa. Los modelos de mundo abierto pueden generar datos sintéticos , lo que proporciona un conjunto de datos rico y variado que mejora el proceso de entrenamiento.
Además, entrenar y probar sistemas de IA físicos en el mundo real puede requerir muchos recursos. Los WFM ofrecen entornos virtuales en 3D donde los desarrolladores pueden simular y probar estos sistemas en un entorno controlado sin los riesgos y costos asociados con los ensayos en el mundo real.
Acceso abierto a los modelos de la Fundación Mundial
En la feria comercial CES, NVIDIA anunció NVIDIA Cosmos , una plataforma de WFM generativos que aceleran el desarrollo de sistemas de IA físicos como robots y automóviles autónomos.
La plataforma está diseñada para ser abierta y accesible , e incluye WFMs previamente entrenados basados en arquitecturas de difusión y autorregresivas, junto con tokenizadores que pueden comprimir videos en tokens para modelos de transformadores .
Liu explicó que con estos modelos abiertos, las empresas y los desarrolladores tienen todos los ingredientes que necesitan para construir modelos a gran escala . La plataforma abierta también brinda a los equipos la flexibilidad de explorar varias opciones para entrenar y ajustar los modelos, o construir los suyos propios en función de las necesidades específicas.
Mejorar los flujos de trabajo de IA en todos los sectores
Se espera que los WFM mejoren los flujos de trabajo y el desarrollo de la IA en diversas industrias. Liu ve impactos particularmente significativos en dos áreas:
“La industria de los automóviles autónomos y la industria de los robots humanoides se beneficiarán mucho del desarrollo de modelos mundiales”, afirmó Liu. “[Los WFM] pueden simular diferentes entornos que serían difíciles de tener en el mundo real, para asegurarse de que el agente se comporte de manera adecuada”.
En el caso de los vehículos autónomos , estos modelos pueden simular entornos que permiten realizar pruebas y optimizarlos exhaustivamente. Por ejemplo, un vehículo autónomo puede probarse en diversas condiciones climáticas y escenarios de tráfico simulados para garantizar su funcionamiento seguro y eficiente antes de su despliegue en las carreteras.
En robótica , los WFM pueden simular y verificar el comportamiento de los sistemas robóticos en diferentes entornos para asegurarse de que realizan tareas de manera segura y eficiente antes de su implementación.
NVIDIA está colaborando con empresas como 1X, Huobi y XPENG para ayudar a abordar los desafíos en el desarrollo de IA física y mejorar sus sistemas.
“Todavía estamos en las primeras etapas del desarrollo de modelos de base mundial: son útiles, pero tenemos que hacerlos más útiles”, dijo Liu. “También tenemos que estudiar cómo integrar mejor estos modelos mundiales en los sistemas físicos de IA de una manera que realmente pueda beneficiarlos”.
Escuche el podcast con Ming-Yu Liu o lea la transcripción .
Obtenga más información sobre NVIDIA Cosmos y los últimos anuncios en inteligencia artificial generativa y robótica viendo la conferencia inaugural del CES a cargo del fundador y director ejecutivo de NVIDIA, Jensen Huang , y participando en las sesiones de NVIDIA en la feria . NVIDIA Blog. Traducido al español
Contacto