面向音乐引导舞蹈视频合成的时空图谱 Mamba
计算机视觉与模式识别
2025-07-10 v1
摘要
我们提出了一种新型时空图谱 Mamba (STG-Mamba) 用于音乐引导舞蹈视频合成任务，即将输入音乐翻译为舞蹈视频。STG-Mamba 包含两个翻译映射：音乐到骨架的翻译和骨架到视频的翻译。在音乐到骨架的翻译中，我们引入了一种新型时空图谱 Mamba (STGM) 模块，有效地从输入音乐构建骨架序列，捕捉关节在空间和时间维度上的依赖性。对于骨架到视频的翻译，我们提出了一种新型自监督正则化网络用于翻译生成的骨架，以及条件图像，以生成舞蹈视频。最后，我们从互联网收集了一个新的骨架到视频翻译数据集，包含 54,944 个视频片段。大量实验表明，STG-Mamba 的效果显著优于现有方法。
引用
@article{arxiv.2507.06689,
title = {Spatial-Temporal Graph Mamba for Music-Guided Dance Video Synthesis},
author = {Hao Tang and Ling Shao and Zhenyu Zhang and Luc Van Gool and Nicu Sebe},
journal= {arXiv preprint arXiv:2507.06689},
year = {2025}
}
备注
Accepted to TPAMI 2025