基于语义压缩的无监督主旋律谱生成
声音
2023-10-18 v1 机器学习
多媒体
音频与语音处理
摘要
主旋律谱在生成音乐研究中已变得常见，被用作多轨音乐生成和自动编曲等下游任务的初始压缩表示。尽管如此，研究者在寻求配对的主旋律谱与总谱时，常求助于确定性约简方法（如天际线算法）来生成主旋律谱，却很少关注主旋律谱本身的质量及其如何准确反映其配器对应物。为解决这些问题，我们提出条件主旋律谱生成问题（即给定总谱版本生成主旋律谱），并表明该任务可表述为无监督音乐压缩任务，其中主旋律谱代表总谱的压缩潜变量版本。我们引入一种称为Lead-AE的新模型，将主旋律谱建模为原始序列的离散子选择，使用可微分top-k算子以实现可控的局部稀疏约束。在自动代理任务和直接人工评估中，我们发现我们的方法优于既定的确定性基线，并生成连贯的大型多轨总谱约简。
引用
@article{arxiv.2310.10772,
title = {Unsupervised Lead Sheet Generation via Semantic Compression},
author = {Zachary Novack and Nikita Srivatsan and Taylor Berg-Kirkpatrick and Julian McAuley},
journal= {arXiv preprint arXiv:2310.10772},
year = {2023}
}