转录即所需：以乐谱作为监督学习分离音乐混合信号
声音
2020-10-23 v1 机器学习
音频与语音处理
摘要
大多数音乐源分离系统需要大量孤立声源集合用于训练，而这往往难以获取。在本工作中，我们使用相对易得的乐谱作为弱标签来训练源分离系统。与先前乐谱知情分离方法不同，我们的系统不需要孤立声源，且乐谱仅用作训练目标，推断时并不需要。我们的模型由一个为每种乐器输出时频掩码的分离子，以及一个充当评判者、提供时间与频率监督以引导分离子学习的解码器组成。引入谐波掩码约束作为训练期间利用乐谱信息的另一种方式，并我们提出两种新颖对抗损失用于对转写器与分离子进行额外微调。结果表明，使用乐谱信息优于时间弱标签，且对抗结构在分离与转写性能上均带来进一步提升。
引用
@article{arxiv.2010.11904,
title = {Transcription Is All You Need: Learning to Separate Musical Mixtures with Score as Supervision},
author = {Yun-Ning Hung and Gordon Wichern and Jonathan Le Roux},
journal= {arXiv preprint arXiv:2010.11904},
year = {2020}
}