LakhNES：通过跨域预训练改进多乐器音乐生成
声音
2019-07-12 v1 机器学习
多媒体
音频与语音处理
机器学习
摘要
我们关注生成多乐器乐谱的任务。Transformer 架构近期在钢琴乐谱生成任务中展现出巨大潜力；在此我们将其适配到多乐器设定。Transformers 是复杂、高维的语言模型，能够捕捉序列数据中的长期结构，但需要大量数据来拟合。其在钢琴乐谱生成上的成功部分归因于该领域易于获取的大规模符号数据。我们利用近期推出的 NES-MDB 数据集，其包含来自早期视频游戏声音合成芯片（NES）的四乐器乐谱，我们发现其非常适合用 Transformer 架构训练。为了进一步提升模型性能，我们提出一种预训练技术，以利用大型异质音乐集合（即 Lakh MIDI 数据集）中的信息。尽管两个语料库存在差异，我们发现该迁移学习过程改善了我们在主要任务上的定量与定性表现。
引用
@article{arxiv.1907.04868,
title = {LakhNES: Improving multi-instrumental music generation with cross-domain pre-training},
author = {Chris Donahue and Huanru Henry Mao and Yiting Ethan Li and Garrison W. Cottrell and Julian McAuley},
journal= {arXiv preprint arXiv:1907.04868},
year = {2019}
}
备注
Published as a conference paper at ISMIR 2019