CycleDRUMS：基于 CycleGAN 的贝斯线自动鼓点编排
音频与语音处理
2021-04-12 v2 机器学习
摘要
基于计算机的音乐生成有两条主要研究脉络：构建自主音乐制作系统，以及设计辅助音乐家的计算机环境。在符号域中，自动编排乐曲这一关键问题已被广泛研究，而在音频域中解决该挑战的系统相对较少。本文提出 CycleDRUMS，一种在给定贝斯线的情况下生成鼓点的新方法。将贝斯的波形转换为梅尔谱图后，我们即可自动生成遵循节拍、听感可信且可直接与输入贝斯混音的原始鼓点。我们将该任务表述为无配对图像到图像翻译问题，并使用 CycleGAN（一种最初为处理图像而设计的成熟无监督风格迁移框架）加以解决。采用原始音频与梅尔谱图的策略使我们能更好地表征人类感知音乐的方式，并有可能从上世纪积累的海量音乐录音中为新的编排提取声音。在缺乏客观评估生成对抗网络与音乐生成系统输出的方法的情况下，我们进一步定义了针对所提任务的一种可能度量，其部分基于人类（及专家）判断。最后，作为对比，我们使用配对图像到图像翻译网络 Pix2Pix 复现了结果，并表明我们的方法优于它。
引用
@article{arxiv.2104.00353,
title = {CycleDRUMS: Automatic Drum Arrangement For Bass Lines Using CycleGAN},
author = {Giorgio Barnabò and Giovanni Trappolini and Lorenzo Lastilla and Cesare Campagnano and Angela Fan and Fabio Petroni and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2104.00353},
year = {2021}
}
备注
9 pages, 5 figures, submitted to IEEE Transactions on Multimedia, the authors contributed equally to this work