基于频带分割RoPE Transformer的音乐源分离
声音
2023-09-12 v2 音频与语音处理
摘要
音乐源分离(MSS)旨在将音乐录音分离为多个音乐上不同的音轨,如人声、贝斯、鼓等。近来,卷积神经网络(CNN)与循环神经网络(RNN)等深度学习方法已被使用,但改进仍有限。本文提出一种基于频带分割RoPE Transformer(称为BS-RoFormer)的新颖频域方法。BS-RoFormer依靠频带分割模块将输入复谱图投影为子带级表示,随后堆叠分层Transformer以建模带内与带间序列,进行多带掩码估计。为便于训练MSS模型,我们提出使用旋转位置嵌入(RoPE)。在MUSDB18HQ及500首额外歌曲上训练的BS-RoFormer系统在Sound Demixing Challenge (SDX23)的MSS赛道中排名第一。在MUSDB18HQ上对较小版本BS-RoFormer进行基准测试,我们在无额外训练数据下取得最先进结果,平均SDR达9.80 dB。
引用
@article{arxiv.2309.02612,
title = {Music Source Separation with Band-Split RoPE Transformer},
author = {Wei-Tsung Lu and Ju-Chiang Wang and Qiuqiang Kong and Yun-Ning Hung},
journal= {arXiv preprint arXiv:2309.02612},
year = {2023}
}
备注
This paper explains the SAMI-ByteDance MSS system submitted to Sound Demixing Challenge (SDX23) Music Separation Track. Version 2 of paper fixed some typos