MotionBridge：具有灵活控制的动态视频插帧
计算机视觉与模式识别
2025-01-09 v3
摘要
通过在两帧图像之间生成合理且平滑的过渡，视频插帧是视频编辑和长视频合成的重要工具。传统工作缺乏生成复杂大运动的能力。尽管最近的视频生成技术能够创建高质量结果，但它们通常缺乏对中间帧细节的精细控制，这可能导致结果不符合创作意图。我们引入了 MotionBridge，一个统一的视频插帧框架，允许灵活控制，包括轨迹笔画、关键帧、掩码、引导像素和文本。然而，在统一框架中学习此类多模态控制是一项具有挑战性的任务。因此，我们设计了两个生成器来忠实地提取控制信号，并通过双分支嵌入器编码特征以消除歧义。我们进一步引入了课程训练策略，以平滑地学习各种控制。大量定性和定量实验表明，这种多模态控制能够实现更具动态性、可定制性和上下文准确性的视觉叙事。
引用
@article{arxiv.2412.13190,
title = {MotionBridge: Dynamic Video Inbetweening with Flexible Controls},
author = {Maham Tanveer and Yang Zhou and Simon Niklaus and Ali Mahdavi Amiri and Hao Zhang and Krishna Kumar Singh and Nanxuan Zhao},
journal= {arXiv preprint arXiv:2412.13190},
year = {2025}
}
备注
Project website: [https://motionbridge.github.io/]