El ritmo de la innovación tecnológica se ha acelerado durante el último año, sobre todo en el caso de la IA. Y en 2024, no había mejor lugar para participar en la creación de esos avances que NVIDIA Research .
NVIDIA Research está formado por cientos de personas extremadamente brillantes que amplían las fronteras del conocimiento, no solo en IA, sino en muchas áreas de la tecnología.
El año pasado, NVIDIA Research sentó las bases para futuras mejoras en el rendimiento de la GPU con importantes descubrimientos de investigación en circuitos, arquitectura de memoria y aritmética dispersa. La invención de nuevas técnicas gráficas por parte del equipo continúa elevando el nivel de la renderización en tiempo real. Además, desarrollamos nuevos métodos para mejorar la eficiencia de la IA, que requieren menos energía, requieren menos ciclos de GPU y ofrecen resultados aún mejores.
Pero los avances más emocionantes del año han sido en IA generativa.
Ahora podemos generar no sólo imágenes y texto, sino también modelos 3D, música y sonidos. También estamos desarrollando un mejor control sobre lo que se genera: para generar movimientos humanoides realistas y generar secuencias de imágenes con sujetos consistentes.
La aplicación de la IA generativa a la ciencia ha dado como resultado pronósticos meteorológicos de alta resolución que son más precisos que los modelos meteorológicos numéricos convencionales. Los modelos de IA nos han dado la capacidad de predecir con precisión cómo responden los niveles de glucosa en sangre a diferentes alimentos. La IA generativa incorporada se está utilizando para desarrollar vehículos y robots autónomos.
Y eso fue solo este año. A continuación, profundizamos en algunos de los mejores trabajos de inteligencia artificial generativa de NVIDIA Research en 2024. Por supuesto, seguimos desarrollando nuevos modelos y métodos para la IA, y esperamos resultados aún más emocionantes el próximo año.
ConsiStory: Imágenes generadas por IA con la energía de los personajes principales
ConsiStory , una colaboración entre investigadores de NVIDIA y la Universidad de Tel Aviv, facilita la generación de múltiples imágenes con un personaje principal consistente: una capacidad esencial para casos de uso narrativos como ilustrar una tira cómica o desarrollar un guión gráfico.
El enfoque de los investigadores introdujo una técnica llamada atención compartida impulsada por el sujeto, que reduce el tiempo necesario para generar imágenes consistentes de 13 minutos a alrededor de 30 segundos.
Lea el artículo de ConsiStory .
Edify 3D: la IA generativa entra en una nueva dimensión
NVIDIA Edify 3D es un modelo base que permite a los desarrolladores y creadores de contenido generar rápidamente objetos 3D que pueden usarse para crear prototipos de ideas y poblar mundos virtuales.
Edify 3D ayuda a los creadores a idear, diseñar y conceptualizar rápidamente entornos inmersivos con recursos generados por IA. Los creadores de contenido, tanto principiantes como experimentados, pueden usar indicaciones de texto e imágenes para aprovechar el modelo, que ahora forma parte de la arquitectura multimodal de NVIDIA Edify para desarrollar IA generativa visual.
Lea el artículo de Edify 3D y mire el vídeo en YouTube .
Fugatto: máquina de sonido con inteligencia artificial flexible para música, voces y más
Un equipo de investigadores de NVIDIA presentó recientemente Fugatto, un modelo de inteligencia artificial generativa fundamental que puede crear o transformar cualquier combinación de música, voces y sonidos basándose en indicaciones de texto o audio.
El modelo puede, por ejemplo, crear fragmentos de música a partir de indicaciones de texto, añadir o quitar instrumentos de canciones existentes, modificar el acento o la emoción en una grabación de voz o generar sonidos completamente nuevos. Podría ser utilizado por productores musicales, agencias de publicidad, desarrolladores de videojuegos o creadores de herramientas de aprendizaje de idiomas.
Lea el artículo de Fugatto .
GluFormer: una inteligencia artificial predice los niveles de azúcar en sangre con cuatro años de antelación
Investigadores del Instituto de Ciencias Weizmann, la startup Pheno.AI con sede en Tel Aviv y NVIDIA lideraron el desarrollo de GluFormer , un modelo de IA que puede predecir los niveles futuros de glucosa de un individuo y otras métricas de salud basándose en datos de monitoreo de glucosa anteriores.
Los investigadores demostraron que, tras añadir datos de ingesta alimentaria al modelo, GluFormer también puede predecir cómo responderán los niveles de glucosa de una persona a alimentos específicos y cambios en la dieta, lo que permite una nutrición de precisión. El equipo de investigación validó GluFormer en otros 15 conjuntos de datos y descubrió que se generaliza bien para predecir los resultados de salud de otros grupos, incluidos aquellos con prediabetes, diabetes tipo 1 y tipo 2, diabetes gestacional y obesidad.
Lea el artículo sobre GluFormer .
LATTE3D: permite la generación casi instantánea de texto a formas 3D
Otro generador 3D lanzado por NVIDIA Research este año es LATTE3D , que convierte indicaciones de texto en representaciones 3D en un segundo, como una impresora 3D virtual y veloz. Las formas generadas, creadas en un formato popular utilizado para aplicaciones de renderizado estándar, se pueden utilizar fácilmente en entornos virtuales para desarrollar videojuegos, campañas publicitarias, proyectos de diseño o campos de entrenamiento virtuales para robótica.
Lea el artículo LATTE3D .
MaskedMimic: Reconstrucción del movimiento realista de robots humanoides
Para avanzar en el desarrollo de robots humanoides, los investigadores de NVIDIA presentaron MaskedMimic , un marco de inteligencia artificial que aplica la técnica de restauración de imágenes (el proceso de reconstrucción de datos completos a partir de una vista incompleta o enmascarada) a las descripciones de movimiento.
Si se le proporciona información parcial, como una descripción textual del movimiento o datos de la posición de la cabeza y las manos de un casco de realidad virtual, MaskedMimic puede completar los espacios en blanco para inferir el movimiento de todo el cuerpo. Se ha convertido en parte del Proyecto GR00T de NVIDIA , una iniciativa de investigación para acelerar el desarrollo de robots humanoides.
Lea el artículo de MaskedMimic .
StormCast: mejora la predicción meteorológica y la simulación climática
En el campo de la ciencia climática, NVIDIA Research anunció StormCast , un modelo de IA generativa para emular la dinámica atmosférica. Mientras que otros modelos de aprendizaje automático entrenados con datos globales tienen una resolución espacial de unos 30 kilómetros y una resolución temporal de seis horas, StormCast alcanza una escala horaria de 3 kilómetros.
Los investigadores entrenaron StormCast con aproximadamente tres años y medio de datos climáticos de la NOAA del centro de Estados Unidos. Cuando se aplica con radares de precipitación, StormCast ofrece pronósticos con tiempos de anticipación de hasta seis horas que son hasta un 10% más precisos que el modelo de predicción meteorológica regional de 3 kilómetros de última generación de la Administración Nacional Oceánica y Atmosférica de Estados Unidos.
Lea el artículo de StormCast , escrito en colaboración con investigadores del Laboratorio Nacional Lawrence Berkeley y la Universidad de Washington.
NVIDIA Research establece récords en IA, vehículos autónomos y robótica
Hasta 2024, los modelos que se originaron en NVIDIA Research establecerán récords en los puntos de referencia de entrenamiento e inferencia de IA, optimización de rutas, conducción autónoma y más.
NVIDIA cuOpt , un microservicio de IA de optimización utilizado para mejoras logísticas, tiene 23 puntos de referencia de récord mundial . La plataforma NVIDIA Blackwell demostró un rendimiento de primera clase en los puntos de referencia de la industria MLPerf para entrenamiento e inferencia de IA .
En el campo de los vehículos autónomos, Hydra-MDP , un marco de conducción autónoma de extremo a extremo de NVIDIA Research, logró el primer lugar en la pista de Conducción de extremo a extremo a escala del Autonomous Grand Challenge en CVPR 2024 .
En robótica, FoundationPose , un modelo de base unificado para la estimación y seguimiento de la postura de objetos 6D, obtuvo el primer lugar en la clasificación BOP para la estimación de postura basada en modelos de objetos invisibles.
Obtenga más información sobre NVIDIA Research , que cuenta con cientos de científicos e ingenieros en todo el mundo. Los equipos de NVIDIA Research se centran en temas como la inteligencia artificial, los gráficos por computadora, la visión artificial, los automóviles autónomos y la robótica. NVIDA News. B. D. Traducido al español
Contacto