基于可控音乐 Transformer 的视频背景音乐生成
多媒体
2021-11-17 v1 声音
音频与语音处理
摘要
本工作中，我们处理视频背景音乐生成任务。一些先前工作实现了有效的音乐生成，但无法生成贴合特定视频的悦耳音乐，且均未考虑视频与音乐的节奏一致性。为生成与给定视频匹配的背景音乐，我们首先建立视频与背景音乐间的节奏关系。具体而言，我们将视频中的时序、运动速度与运动显著性分别对应于音乐中的节拍、拟音符密度与拟音符强度。随后我们提出 CMT，一种可控音乐 Transformer（Controllable Music Transformer），其实现对上述节奏特征的局部控制以及对音乐流派与乐器的全局控制。客观与主观评价表明，生成的背景音乐与输入视频取得了令人满意的兼容性，同时具备令人印象深刻的音乐质量。代码与模型见 https://github.com/wzk1015/video-bgm-generation。
引用
@article{arxiv.2111.08380,
title = {Video Background Music Generation with Controllable Music Transformer},
author = {Shangzhe Di and Zeren Jiang and Si Liu and Zhaokai Wang and Leyan Zhu and Zexin He and Hongming Liu and Shuicheng Yan},
journal= {arXiv preprint arXiv:2111.08380},
year = {2021}
}
备注
Accepted to ACM Multimedia 2021. Project website at https://wzk1015.github.io/cmt/