基于置换不变语言模型的交响乐生成
声音
2022-09-19 v2 人工智能
机器学习
音频与语音处理
摘要
在本工作中，我们提出一种置换不变语言模型 SymphonyNet，作为符号化交响乐生成的解决方案。我们提出一种新颖的多音轨多乐器可重复（MMR）交响乐表示方法，并使用基于 Transformer 的自回归语言模型结合特定的三维位置嵌入对音乐序列进行建模。为克服在建模超长交响乐 token 时的长度溢出问题，我们还提出了一种改进的音乐 token 字节对编码算法（Music BPE），并引入一种新颖的线性 Transformer 解码器架构作为主干。同时，我们通过从输入中掩码乐器信息，将解码器训练为联合学习任务以自动配器。我们还引入了一个大规模符号化交响乐数据集以推动交响乐生成研究。实证结果表明，所提方法能够生成连贯、新颖、复杂且和谐的交响乐，作为多音轨多乐器符号音乐生成的先驱解决方案。
引用
@article{arxiv.2205.05448,
title = {Symphony Generation with Permutation Invariant Language Model},
author = {Jiafeng Liu and Yuanliang Dong and Zehua Cheng and Xinran Zhang and Xiaobing Li and Feng Yu and Maosong Sun},
journal= {arXiv preprint arXiv:2205.05448},
year = {2022}
}