多乐器复调与打击乐混合信号的同步分离与转写
音频与语音处理
2020-02-14 v2 机器学习
声音
摘要
我们提出了一种单一的深度学习架构，能够同时将音乐混合音频记录分离为各单乐器录音，并将这些乐器转写为人类可读的格式，为两项任务学习共享的音乐表示。这一我们称之为 Cerberus 的新颖架构，在用于源分离的 Chimera 网络基础上增加了用于转写的第三个“头”。通过以不同损失训练每个头，我们能够在实验中用单一网络联合学习如何分离并转写最多 5 种乐器。我们表明这两项任务高度互补，当联合学习时，得到的 Cerberus 网络在分离与转写上均更优，并对未见过的混合信号具有更好的泛化能力。
引用
@article{arxiv.1910.12621,
title = {Simultaneous Separation and Transcription of Mixtures with Multiple Polyphonic and Percussive Instruments},
author = {Ethan Manilow and Prem Seetharaman and Bryan Pardo},
journal= {arXiv preprint arXiv:1910.12621},
year = {2020}
}
备注
Accepted to ICASSP 2020