PopMAG：流行音乐伴奏生成
声音
2020-08-19 v1 计算与语言
信息检索
机器学习
音频与语音处理
摘要
在流行音乐中，伴奏通常由鼓、贝斯、弦乐和吉他等多种乐器（音轨）演奏，并可通过与其旋律编排在一起使歌曲更具表现力与感染力。以往工作通常分别生成多个音轨，且来自不同音轨的音符并不显式相互依赖，这损害了和声建模。为改进和声，本文提出一种新颖的多音轨 MIDI 表示（MuMIDI），其能在单一序列中实现同步多音轨生成，并显式建模来自不同音轨音符的依赖关系。尽管这极大改进了和声，但不幸的是，它增加了序列长度并带来长期音乐建模的新挑战。我们进一步引入两项新技术应对该挑战：1）我们在一个步骤而非多个步骤中对一个音符的多个属性（如音高、时值、力度）建模，从而缩短 MuMIDI 序列长度。2）我们引入额外长上下文作为记忆以捕捉音乐中的长期依赖。我们将这一流行音乐伴奏生成系统称为 PopMAG。我们在多个数据集（LMD、FreeMidi 和 CPMD，一个中国流行歌曲私有数据集）上以主客观指标评估 PopMAG。结果证明了 PopMAG 在多音轨和声建模与长期上下文建模上的有效性。具体而言，PopMAG 在 LMD、FreeMidi 和 CPMD 数据集上分别与真值音乐片段比较时赢得 42%/38%/40% 的投票，并在主客观指标上大幅优于其他最先进的音乐伴奏生成模型和多音轨 MIDI 表示。
引用
@article{arxiv.2008.07703,
title = {PopMAG: Pop Music Accompaniment Generation},
author = {Yi Ren and Jinzheng He and Xu Tan and Tao Qin and Zhou Zhao and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2008.07703},
year = {2020}
}
备注
Accepted by ACM-MM 2020