MultiMotion: 基于视频扩散Transformer的多主体视频运动迁移
计算机视觉与模式识别
2025-12-15 v2
摘要
多对象视频运动迁移对扩散Transformer（DiT）架构提出了重大挑战，原因在于其固有的运动纠缠和缺乏对象级别的控制。我们提出MultiMotion，一个新颖的统一框架，克服了这些限制。我们的核心创新是掩码感知注意力运动流（AMF），它利用SAM2掩码在DiT流水线中显式地解耦和控制多对象的运动特征。此外，我们引入RectPC，一种高阶预测-校正求解器，用于高效且精确的采样，对多实体生成尤为有利。为便于严格评估，我们构建了首个专门针对基于DiT的多对象运动迁移的基准数据集。MultiMotion明确实现了对多个不同对象的精确、语义对齐且时间一致的运动迁移，同时保持了DiT的高质量与可扩展性。代码见补充材料。
引用
@article{arxiv.2512.07500,
title = {MultiMotion: Multi Subject Video Motion Transfer via Video Diffusion Transformer},
author = {Penghui Liu and Jiangshan Wang and Yutong Shen and Shanhui Mo and Chenyang Qi and Yue Ma},
journal= {arXiv preprint arXiv:2512.07500},
year = {2025}
}