视频背景音乐生成：数据集、方法与评测
计算机视觉与模式识别
2023-08-07 v2 多媒体
声音
音频与语音处理
摘要
音乐在视频编辑中不可或缺，但人工选曲困难且耗时。因此，我们致力于根据视频输入自动生成背景音乐音轨。这是一项极具挑战的任务，因为它需要视频-音乐数据集、高效的视频到音乐生成架构以及合理的评价指标，而目前这些均不存在。为弥补这一空白，我们给出一套完整方案，包括用于视频背景音乐生成的数据集、基准模型与评价度量。我们提出 SymMV，一个带有丰富音乐标注的视频与符号音乐数据集。据我们所知，它是首个具备丰富音乐标注的视频-音乐数据集。我们还提出一个名为 V-MusProd 的基准视频背景音乐生成框架，其利用和弦、旋律与伴奏的音乐先验，以及语义、颜色与运动特征的视频-音乐关联。针对视频-音乐对应性缺乏客观度量的问题，我们设计了一种基于检索的度量 VMCP，其构建于强大的视频-音乐表示学习模型之上。实验表明，使用我们的数据集，V-MusProd 在音乐质量及与视频的对应性上均优于当前最优方法。我们相信我们的数据集、基准模型与评价度量将推动视频背景音乐生成的发展。我们的数据集与代码见 https://github.com/zhuole1025/SymMV。
引用
@article{arxiv.2211.11248,
title = {Video Background Music Generation: Dataset, Method and Evaluation},
author = {Le Zhuo and Zhaokai Wang and Baisen Wang and Yue Liao and Chenxi Bao and Stanley Peng and Songhao Han and Aixi Zhang and Fei Fang and Si Liu},
journal= {arXiv preprint arXiv:2211.11248},
year = {2023}
}
备注
Accepted by ICCV2023