通过标记去噪和钢琴卷表示例改进BERT用于符号音乐理解

我们提出了一种类似BERT的预训练模型，用于符号音乐理解，在广泛的下游任务上实现了具竞争力的性能。为实现这一目标，我们设计了两种新的预训练目标，即标记修复和钢琴卷预测。首先，我们对部分音符标记进行采样并添加有限的噪声，然后训练模型以去噪被破坏的标记；其次，我们还训练模型从被破坏的音符标记中预测条级和局部钢琴卷派生的表示。我们认为，这些目标可引导模型更好地学习特定的音乐知识，如音程。对于评估，我们提出了一个包含12个下游任务（从和弦估计到符号音乐体裁分类）的基准。结果确认了所提出预训练目标在下游任务上的有效性。