基于邻域注意力在分离音频上的节拍功能结构一体化分析
音频与语音处理
2023-08-01 v1
摘要
音乐具有复杂层次结构的特点。构建捕捉这些结构的综合性模型一直是音乐信息检索（MIR）领域的重大挑战。先前的研究主要聚焦于解决特定层次水平的独立任务，而非提供统一的方法。本文引入一种通用的、一体化的模型，联合执行节拍与强拍跟踪以及功能结构分割与标注。该模型以源分离频谱图作为输入，采用扩张邻域注意力捕捉时间长期依赖，并利用非扩张注意力捕捉局部乐器依赖。因此，所提模型在 Harmonix Set 的全部四项任务上取得了最先进的性能，且与近期最先进模型相比参数量相对较低。此外，我们的消融研究表明，节拍、强拍与片段的同步学习可提升性能，各任务相互受益。
引用
@article{arxiv.2307.16425,
title = {All-In-One Metrical And Functional Structure Analysis With Neighborhood Attentions on Demixed Audio},
author = {Taejun Kim and Juhan Nam},
journal= {arXiv preprint arXiv:2307.16425},
year = {2023}
}
备注
This paper has been accepted for publication at the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), 2023