MV-Crafter：面向音乐引导视频生成的智能系统
人机交互
2025-04-25 v1 多媒体
摘要
音乐视频作为一种流行的多媒体娱乐形式，为观众提供引人入胜的音视频体验，近年来在歌手和粉丝之间获得了巨大的热度。创作者可以通过直观的视觉元素自然表达对音乐的解读。然而，音乐视频的创作过程需要掌握脚本设计、视频拍摄和音乐视频同步等技能，对非专业人士构成了重大挑战。以往的工作已设计用于自动化音乐视频生成的框架，但存在输入复杂且输出质量较差的问题。为此，我们提出了 MV-Crafter，一种能够生成高质量音乐视频并实现音乐视频节奏与风格同步的系统。我们的方法包含三个技术模块，模拟了人的创作过程：脚本生成模块、视频生成模块和音乐视频同步模块。MV-Crafter 利用大语言模型生成考虑音乐语义的脚本。为解决将短视频剪辑与不同时长的音乐同步的问题，我们提出了动态节拍匹配算法和视觉包络诱导的变形方法，以确保精确且单调的音乐视频同步。此外，我们设计了用户友好的界面，通过直观的编辑功能简化了创作过程。大量实验表明，MV-Crafter 为提高生成音乐视频的质量提供了有效解决方案。
引用
@article{arxiv.2504.17267,
title = {MV-Crafter: An Intelligent System for Music-guided Video Generation},
author = {Chuer Chen and Shengqi Dang and Yuqi Liu and Nanxuan Zhao and Yang Shi and Nan Cao},
journal= {arXiv preprint arXiv:2504.17267},
year = {2025}
}