SDMuse：基于混合表示的随机微分方程音乐编辑与生成
声音
2022-11-03 v2 多媒体
音频与语音处理
摘要
尽管深度生成模型已赋能音乐生成，但在细粒度上编辑现有音乐作品仍是一个具有挑战性且未被充分探索的问题。在本文中，我们提出 SDMuse，一个统一的随机微分（Stochastic Differential）音乐编辑与生成框架，它不仅能从零创作整首音乐作品，还能以多种方式修改现有音乐作品，例如组合、续写、修复（inpainting）和风格迁移。所提出的 SDMuse 遵循两阶段流水线，基于包括 pianoroll 和 MIDI-event 的混合表示实现音乐生成与编辑。具体而言，SDMuse 首先基于扩散模型生成先验，通过随机微分方程（SDE）迭代去噪来生成/编辑 pianoroll，然后以自回归方式细化生成的 pianoroll 并预测 MIDI-event 词元。我们在 ailabs1k7 流行音乐数据集上，针对各种音乐编辑与生成任务，从质量和可控性方面评估了我们的方法生成的音乐。实验结果证明了我们所提出的随机微分音乐编辑与生成过程以及混合表示的有效性。
引用
@article{arxiv.2211.00222,
title = {SDMuse: Stochastic Differential Music Editing and Generation via Hybrid Representation},
author = {Chen Zhang and Yi Ren and Kejun Zhang and Shuicheng Yan},
journal= {arXiv preprint arXiv:2211.00222},
year = {2022}
}