Musika!快速无限波形音乐生成
声音
2022-08-19 v1 机器学习
音频与语音处理
摘要
快速且用户可控的音乐生成可催生作曲或演奏音乐的新方式。然而,最先进的音乐生成系统需要大量数据与计算资源进行训练,且推理速度慢。这使其难以用于实时交互。本工作中,我们介绍 Musika,一种音乐生成系统,可在单块消费级 GPU 上以数百小时音乐训练,并能在消费级 CPU 上以远快于实时的速度生成任意长度的音乐。为此,我们首先用对抗自编码器学习谱图幅度与相位的紧凑可逆表示,然后在该表示上针对特定音乐域训练生成对抗网络(GAN)。潜坐标系统支持并行生成任意长的片段序列,而全局上下文向量使音乐随时间保持风格连贯。我们进行定量评估以衡量生成样本的质量,并展示钢琴与 techno 音乐生成中的用户控制选项。我们在 github.com/marcoppasini/musika 发布源代码与预训练自编码器权重,以便能用单块 GPU 在数小时内针对新音乐域训练 GAN。
引用
@article{arxiv.2208.08706,
title = {Musika! Fast Infinite Waveform Music Generation},
author = {Marco Pasini and Jan Schlüter},
journal= {arXiv preprint arXiv:2208.08706},
year = {2022}
}
备注
Accepted at ISMIR 2022