Chubut Digital

The CausVid generative AI tool uses a diffusion model to teach an autoregressive (frame-by-frame) system to rapidly produce stable, high-resolution videos. What would a behind-the-scenes look at a video generated by an artificial intelligence model be like? You might think the process is similar to stop-motion animation, where many images are created and stitched together, but that’s not quite the case for “diffusion models” like OpenAl’s SORA and Google’s VEO 2. Instead of producing a video frame-by-frame (or “autoregressively”), these systems process the entire sequence at once. The resulting clip is often photorealistic, but the process is slow and doesn’t allow for on-the-fly changes.  Scientists from MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) and Adobe Research have now developed a hybrid approach, called “CausVid,” to create videos in seconds. Much like a quick-witted student learning from a well-versed teacher, a full-sequence diffusion model trains an autoregressive system to swiftly predict the next frame while ensuring high quality and consistency. CausVid’s student model can then generate clips from a simple text prompt, turning a photo into a moving scene, extending a video, or altering its creations with new inputs mid-generation. This dynamic tool enables fast, interactive content creation, cutting a 50-step process into just a few actions. It can craft many imaginative and artistic scenes, such as a paper airplane morphing into a swan, woolly mammoths venturing through snow, or a child jumping in a puddle. Users can also make an initial prompt, like “generate a man crossing the street,” and then make follow-up inputs to add new elements to the scene, like “he writes in his notebook when he gets to the opposite sidewalk.” A video produced by CausVid illustrates its ability to create smooth, high-quality content. AI-generated animation courtesy of the researchers. The CSAIL researchers say that the model could be used for different video editing tasks, like helping viewers understand a livestream in a different language by generating a video that syncs with an audio translation. It could also help render new content in a video game or quickly produce training simulations to teach robots new tasks. Tianwei Yin SM ’25, PhD ’25, a recently graduated student in electrical engineering and computer science and CSAIL affiliate, attributes the model’s strength to its mixed approach. “CausVid combines a pre-trained diffusion-based model with autoregressive architecture that’s typically found in text generation models,” says Yin, co-lead author of a new paper about the tool. “This AI-powered teacher model can envision future steps to train a frame-by-frame system to avoid making rendering errors.” Yin’s co-lead author, Qiang Zhang, is a research scientist at xAI and a former CSAIL visiting researcher. They worked on the project with Adobe Research scientists Richard Zhang, Eli Shechtman, and Xun Huang, and two CSAIL principal investigators: MIT professors Bill Freeman and Frédo Durand. Caus(Vid) and effect Many autoregressive models can create a video that’s initially smooth, but the quality tends to drop off later in the sequence. A clip of a person running might seem lifelike at first, but their legs begin to flail in unnatural directions, indicating frame-to-frame inconsistencies (also called “error accumulation”). Error-prone video generation was common in prior causal approaches, which learned to predict frames one by one on their own. CausVid instead uses a high-powered diffusion model to teach a simpler system its general video expertise, enabling it to create smooth visuals, but much faster. Play video CausVid enables fast, interactive video creation, cutting a 50-step process into just a few actions.Video courtesy of the researchers. CausVid displayed its video-making aptitude when researchers tested its ability to make high-resolution, 10-second-long videos. It outperformed baselines like “OpenSORA” and “MovieGen,” working up to 100 times faster than its competition while producing the most stable, high-quality clips. Then, Yin and his colleagues tested CausVid’s ability to put out stable 30-second videos, where it also topped comparable models on quality and consistency. These results indicate that CausVid may eventually produce stable, hours-long videos, or even an indefinite duration. A subsequent study revealed that users preferred the videos generated by CausVid’s student model over its diffusion-based teacher. “The speed of the autoregressive model really makes a difference,” says Yin. “Its videos look just as good as the teacher’s ones, but with less time to produce, the trade-off is that its visuals are less diverse.” CausVid also excelled when tested on over 900 prompts using a text-to-video dataset, receiving the top overall score of 84.27. It boasted the best metrics in categories like imaging quality and realistic human actions, eclipsing state-of-the-art video generation models like “Vchitect” and “Gen-3.” While an efficient step forward in AI video generation, CausVid may soon be able to design visuals even faster — perhaps instantly — with a smaller causal architecture. Yin says that if the model is trained on domain-specific datasets, it will likely create higher-quality clips for robotics and gaming. Experts say that this hybrid system is a promising upgrade from diffusion models, which are currently bogged down by processing speeds. “[Diffusion models] are way slower than LLMs [large language models] or generative image models,” says Carnegie Mellon University Assistant Professor Jun-Yan Zhu, who was not involved in the paper. “This new work changes that, making video generation much more efficient. That means better streaming speed, more interactive applications, and lower carbon footprints.” The team’s work was supported, in part, by the Amazon Science Hub, the Gwangju Institute of Science and Technology, Adobe, Google, the U.S. Air Force Research Laboratory, and the U.S. Air Force Artificial Intelligence Accelerator. CausVid will be presented at the Conference on Computer Vision and Pattern Recognition in June. MIT News. A. S.

La herramienta de inteligencia artificial generativa CausVid utiliza un modelo de difusión para enseñar a un sistema autorregresivo (cuadro por cuadro) a producir rápidamente videos estables y de alta resolución. ¿Cómo sería una mirada entre bastidores a un vídeo generado por un modelo de inteligencia artificial? Podrías pensar que el proceso es similar a la animación stop-motion, donde se crean y unen muchas imágenes, pero no es así con los «modelos de difusión» como SORA de OpenAl y VEO 2 de Google. En lugar de producir un video fotograma a fotograma (o «autorregresivamente»), estos sistemas procesan toda la secuencia a la vez. El clip resultante suele ser fotorrealista, pero el proceso es lento y no permite cambios sobre la marcha.  Científicos del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT y Adobe Research han desarrollado un enfoque híbrido, llamado «CausVid», para crear videos en segundos. Al igual que un estudiante ingenioso que aprende de un profesor experto, un modelo de difusión de secuencia completa entrena un sistema autorregresivo para predecir rápidamente el siguiente fotograma, garantizando al mismo tiempo alta calidad y consistencia. El modelo de estudiante de CausVid puede entonces generar clips a partir de una simple instrucción de texto, convirtiendo una foto en una escena en movimiento, extendiendo un video o alterando sus creaciones con nuevas entradas a mitad de generación. Esta herramienta dinámica permite la creación rápida e interactiva de contenido, reduciendo un proceso de 50 pasos a solo unas pocas acciones. Permite crear numerosas escenas imaginativas y artísticas, como un avión de papel transformándose en cisne, mamuts lanudos aventurándose en la nieve o un niño saltando en un charco. Los usuarios también pueden crear una indicación inicial, como «generar un hombre cruzando la calle», y luego añadir elementos adicionales a la escena, como «escribe en su cuaderno al llegar a la acera de enfrente». Un vídeo producido por CausVid ilustra su capacidad para crear contenido fluido y de alta calidad.Animación generada por IA cortesía de los investigadores. Los investigadores de CSAIL afirman que el modelo podría utilizarse para diversas tareas de edición de vídeo, como ayudar a los espectadores a comprender una transmisión en directo en otro idioma mediante la generación de un vídeo sincronizado con la traducción del audio. También podría ayudar a renderizar nuevo contenido en un videojuego o a producir rápidamente simulaciones de entrenamiento para enseñar nuevas tareas a los robots. Tianwei Yin SM ’25, PhD ’25, estudiante recién graduado de ingeniería eléctrica e informática y afiliado de CSAIL, atribuye la solidez del modelo a su enfoque mixto. “CausVid combina un modelo basado en difusión pre-entrenado con arquitectura autorregresiva que típicamente se encuentra en modelos de generación de texto”, dice Yin, co-autor principal de un nuevo  artículo sobre la herramienta. “Este modelo de profesor potenciado por IA puede prever pasos futuros para entrenar un sistema cuadro por cuadro para evitar cometer errores de renderizado”. El co-autor principal de Yin, Qiang Zhang, es un científico investigador en xAI y un ex investigador visitante de CSAIL. Trabajaron en el proyecto con los científicos de Adobe Research Richard Zhang, Eli Shechtman y Xun Huang, y dos investigadores principales de CSAIL: los profesores del MIT Bill Freeman y Frédo Durand. Caus(Vid) y efecto Muchos modelos autorregresivos pueden crear un video que es fluido inicialmente, pero la calidad tiende a caer más adelante en la secuencia. Un clip de una persona corriendo puede parecer realista al principio, pero sus piernas comienzan a agitarse en direcciones poco naturales, lo que indica inconsistencias cuadro por cuadro (también llamado “acumulación de errores”). La generación de video propensa a errores era común en los enfoques causales anteriores, que aprendían a predecir fotogramas uno por uno por sí solos. En cambio, CausVid utiliza un modelo de difusión de alta potencia para enseñar a un sistema más simple su experiencia general en video, lo que le permite crear imágenes fluidas, pero con mucha más rapidez. Reproducir vídeoCausVid permite la creación rápida de videos interactivos, simplificando un proceso de 50 pasos a solo unas pocas acciones.Video cortesía de los investigadores. CausVid demostró su capacidad para crear videos cuando los investigadores probaron su capacidad para crear videos de alta resolución de 10 segundos. Superó a plataformas como OpenSORA y MovieGen , trabajando hasta 100 veces más rápido que la competencia y produciendo clips de la más alta calidad y estabilidad. Posteriormente, Yin y sus colegas probaron la capacidad de CausVid para generar videos estables de 30 segundos, donde también superó a modelos comparables en calidad y consistencia. Estos resultados indican que CausVid podría eventualmente producir videos estables de varias horas de duración, o incluso indefinidamente. Un estudio posterior reveló que los usuarios preferían los videos generados por el modelo de estudiantes de CausVid a su modelo de profesores basado en la difusión. “La velocidad del modelo autorregresivo realmente marca la diferencia”, afirma Yin. “Sus videos se ven igual de bien que los del profesor, pero al tener menos tiempo para producirlos, la desventaja es que sus elementos visuales son menos diversos”. CausVid también destacó en pruebas con más de 900 indicaciones utilizando un conjunto de datos de texto a video, obteniendo la máxima puntuación general de 84,27. Obtuvo las mejores métricas en categorías como calidad de imagen y acciones humanas realistas, eclipsando modelos de generación de video de vanguardia como » Vchitect » y » Gen-3 » . Si bien CausVid representa un avance eficiente en la generación de video con IA, pronto podrá diseñar imágenes aún más rápido, quizás al instante, con una arquitectura causal más pequeña. Yin afirma que si el modelo se entrena con conjuntos de datos específicos del dominio, probablemente creará clips de mayor calidad para robótica y videojuegos. Los expertos afirman que este sistema híbrido es una mejora prometedora respecto a los modelos de difusión, que actualmente se ven limitados por la velocidad de procesamiento. «[Los modelos de difusión] son ​​mucho más lentos que los modelos de lenguaje extenso (LLM) o los modelos de imágenes generativas», afirma el profesor adjunto de la Universidad Carnegie Mellon, Jun-Yan Zhu,