使用非分层 Transformer 对时间区间进行评分以实现自动钢琴转录

神经半马尔可夫条件随场框架已展现出在基于事件的钢琴转录方面的潜力。在该框架中，所有事件（音符或踏板）均表示为与特定事件类型绑定的闭合时间区间。神经 semi-CRF 方法需要一个区间评分矩阵，为每个候选区间分配一个分数。然而，设计一种高效且富有表达力的区间评分架构并非易事。本文引入了一种简单的区间评分方法，使用类似于 Transformer 中注意力评分方式的缩放内积运算。我们从理论上证明，由于编码非重叠区间的特殊结构，在温和条件下，内积运算具有足够的表达能力来表示一个能够产生正确转录结果的理想评分矩阵。然后我们证明，一个仅在低时间分辨率特征图上运行的纯编码器结构化非分层 Transformer 主干网络，能够以高精度和高时间精度转录钢琴音符和踏板。实验表明，在 Maestro 数据集上，我们的方法在所有子任务的 F1 指标上均达到了新的 SOTA 性能。