视频运动图
计算机视觉与模式识别
2025-06-04 v2
摘要
我们提出了Video Motion Graphs（视频运动图），一个用于生成逼真人类运动视频的系统。通过参考视频和条件信号（如音乐或运动标签），系统通过首先检索与条件匹配的手势视频片段，然后生成插值帧以无缝连接片段边界来合成新的视频。我们方法的核心是HMInterp（鲁棒性视频帧插值模型），它能够即使在复杂运动场景（如跳舞）下，对不连续帧进行无缝插值。HMInterp一方面采用双分支插值方法，将人类骨骼运动插值的运动扩散模型与用于最终帧生成的扩散式视频帧插值模型相结合。另一方面，采用条件渐进训练来有效利用身份强条件和弱条件（如图像和姿态）。这些设计确保了高质量的视频纹理和准确的运动轨迹。结果表明，Video Motion Graphs在多模态条件下的人类运动视频生成方面优于现有的基于生成和检索的方法。项目页面可在https://h-liu1997.github.io/Video-Motion-Graphs/查阅。
引用
@article{arxiv.2503.20218,
title = {Video Motion Graphs},
author = {Haiyang Liu and Zhan Xu and Fa-Ting Hong and Hsin-Ping Huang and Yi Zhou and Yang Zhou},
journal= {arXiv preprint arXiv:2503.20218},
year = {2025}
}
备注
14 pages,10 figures