Mojito：视频生成中的运动轨迹与强度控制
计算机视觉与模式识别
2025-02-06 v2 计算与语言
摘要
近期扩散模型的发展在生成高质量视频内容方面展现了巨大潜力。然而，实现能够集成方向性指导和可控运动强度的视频扩散模型训练，仍是一个具有挑战性且鲜有人关注的领域。为此，本文引入Mojito，一种集成运动轨迹和强度控制的扩散模型，用于文本到视频生成。具体而言，Mojito包含一个Directional Motion Control(DMC)模块，利用跨注意力机制高效地引导生成对象的运动方向，而无需额外训练；以及一个运动强度调制器(MIM)，其利用从视频中生成的光流图来指导不同的运动强度。广泛的实验表明，Mojito在实现精确的轨迹和强度控制方面效果显著，计算效率高，生成的运动模式能够与指定的方向和强度高度吻合，提供符合自然运动规律的真实动态。
引用
@article{arxiv.2412.08948,
title = {Mojito: Motion Trajectory and Intensity Control for Video Generation},
author = {Xuehai He and Shuohang Wang and Jianwei Yang and Xiaoxia Wu and Yiping Wang and Kuan Wang and Zheng Zhan and Olatunji Ruwase and Yelong Shen and Xin Eric Wang},
journal= {arXiv preprint arXiv:2412.08948},
year = {2025}
}