中文

BEAST:基于流式 Transformer 的在线联合节拍与强拍跟踪

声音 2024-04-24 v3 音频与语音处理

摘要

许多深度学习模型在离线节拍跟踪任务上已取得主导性能。然而,仅利用过去和当前输入特征的在线节拍跟踪仍然具有挑战性。在本文中,我们提出了 BEAt tracking Streaming Transformer (BEAST),这是一种基于流式 Transformer 的在线联合节拍和强拍跟踪系统。为了应对在线场景,BEAST 在 Transformer 编码器中应用了上下文块处理。此外,我们在流式 Transformer 编码器的注意力层中采用了相对位置编码,以捕捉音乐中至关重要的相对时序位置信息。在最大延迟低于 50 ms 的低延迟场景下,在基准数据集上进行节拍和强拍实验,BEAST 在节拍跟踪上的 F1 值为 80.04%,在强拍跟踪上为 46.78%,相较于最先进的在线节拍跟踪模型提升了约 5 个百分点。

关键词

引用

@article{arxiv.2312.17156,
  title  = {BEAST: Online Joint Beat and Downbeat Tracking Based on Streaming Transformer},
  author = {Chih-Cheng Chang and Li Su},
  journal= {arXiv preprint arXiv:2312.17156},
  year   = {2024}
}

备注

Accepted by ICASSP 2024