让你的视频“听见”音乐！
计算机视觉与模式识别
2025-06-24 v1 多媒体
摘要
将视频中视觉运动的节奏与给定音乐轨道同步，是多媒体制作中的实际需求，却是自动化视频编辑领域中鲜有人涉足的任务。有效地实现运动与音乐节拍之间的对齐，可提升观众的沉浸感与视觉效果，尤其在音乐视频、宣传内容及电影剪辑中尤为重要。现有方法通常依赖耗时的手动剪辑、速度调整或基于启发式的编辑技术实现同步。虽然有些生成模型能够处理联合视频与音乐生成，但常常将两种模态 entangled，从而限制了在保留完整视觉内容的同时将视频与音乐节拍对齐的灵活性。本文提出一种新型且高效的框架，称为 MVAA (Music-Video Auto-Alignment，音乐-视频自动对齐)，自动编辑视频以同步给定音乐轨道的节奏，同时保留原始视觉内容。为提升灵活性，我们将该任务模块化为两个步骤：首先将运动关键帧与音频节拍对齐，随后进行节奏感视频填充。具体而言，我们在与音乐节拍对齐的时间戳处插入关键帧，然后使用基于帧条件的扩散模型生成连贯的中间帧，保留原始视频的语义内容。由于全程测试时训练往往耗时较长，我们采用两阶段策略：先在小型视频数据集上预训练填充模块以学习通用运动先验，再进行快速推理时微调以实现视频特定适配。这种混合方法enable 在单张 NVIDIA 4090 GPU 上使用 CogVideoX-5b-I2V 作为骨干网络的情况下，仅需 10 分钟即可完成适配。广泛的实验表明，我们的方法能够实现高质量的节拍对齐与视觉平滑。
引用
@article{arxiv.2506.18881,
title = {Let Your Video Listen to Your Music!},
author = {Xinyu Zhang and Dong Gong and Zicheng Duan and Anton van den Hengel and Lingqiao Liu},
journal= {arXiv preprint arXiv:2506.18881},
year = {2025}
}
备注
project page: https://zhangxinyu-xyz.github.io/MVAA/