用于音乐源分离的 Mel-Band RoFormer
声音
2023-10-04 v1 音频与语音处理
摘要
近来，基于多频带谱图的方法（如 Band-Split RNN (BSRNN)）在音乐源分离中展现出有前景的结果。在我们近期的工作中，我们引入了 BS-RoFormer 模型，其在前端继承了 BSRNN 中的频带分割方案，随后使用带有旋转位置嵌入（RoPE）的分层 Transformer 对频带内与频带间序列建模以进行多频带掩码估计。该模型取得了最先进的性能，但频带分割方案是凭经验定义的，缺乏文献中的分析支持。本文中，我们提出 Mel-RoFormer，其采用 Mel-band 方案，根据梅尔尺度将频率 bin 映射为重叠子带。相反，BSRNN 与 BS-RoFormer 中的频带分割映射是非重叠的且基于启发式设计。使用 MUSDB18HQ 数据集进行实验，我们证明 Mel-RoFormer 在人声、鼓与其他 stems 的分离任务上优于 BS-RoFormer。
引用
@article{arxiv.2310.01809,
title = {Mel-Band RoFormer for Music Source Separation},
author = {Ju-Chiang Wang and Wei-Tsung Lu and Minz Won},
journal= {arXiv preprint arXiv:2310.01809},
year = {2023}
}
备注
submitted as an ISMIR 2023 late-breaking and demo paper