Polyffusion：一种具有内部与外部控制的复调乐谱生成扩散模型
声音
2023-07-21 v1 机器学习
音频与语音处理
摘要
我们提出 Polyffusion，一种将音乐视为类图像钢琴卷帘表示并生成复调音乐乐谱的扩散模型。该模型能够通过两种范式进行可控音乐生成：内部控制和外部控制。内部控制指用户预定义部分音乐然后让模型补全其余部分的过程，类似于掩码音乐生成（或音乐修复）任务。外部控制通过交叉注意力机制以外部但相关的信息（如和弦、纹理或其他特征）对模型进行条件化。我们展示通过使用内部和外部控制，Polyffusion 统一了广泛的音乐创作任务，包括给定伴奏的旋律生成、给定旋律的伴奏生成、任意音乐片段修复，以及给定和弦或纹理的音乐编排。实验结果表明，我们的模型显著优于现有的 Transformer 和基于采样的基线，并且使用预训练解耦表示作为外部条件可产生更有效的控制。
引用
@article{arxiv.2307.10304,
title = {Polyffusion: A Diffusion Model for Polyphonic Score Generation with Internal and External Controls},
author = {Lejun Min and Junyan Jiang and Gus Xia and Jingwei Zhao},
journal= {arXiv preprint arXiv:2307.10304},
year = {2023}
}
备注
In Proceedings of the 24th Conference of the International Society for Music Information Retrieval (ISMIR 2023), Milan, Italy