中文

面向音乐信息化的钢琴转录模型评估

声音 2024-10-10 v3 音频与语音处理

摘要

自动钢琴转录模型通常使用简单的帧级或音符级信息检索(IR)指标进行评估。此类基准指标无法提供对输出中特定音乐方面(如发音、力度或节奏精度)转录质量的洞察,而这些方面在表现性演奏分析中至关重要。此外,近年来,MAESTRO已成为此类模型的事实上的训练和评估数据集。然而,当应用于分布外数据时,推理性能被观察到显著下降,从而质疑了此类模型转录输出在特定MIR任务中的适用性和可靠性。在本工作中,我们通过两个实验研究了三种最先进的钢琴转录模型的性能。在第一个实验中,我们提出了一系列音乐信息化的评估指标,与IR指标相比,这些指标能更详细地洞察转录的音乐质量。在第二个实验中,我们比较了在真实世界和扰动音频录音上的推理性能,并强调了我们的指标有助于解释的音乐维度。我们的实验结果凸显了现有钢琴转录指标的弱点,并有助于对转录输出进行更符合音乐学的错误分析。

关键词

引用

@article{arxiv.2406.08454,
  title  = {Towards Musically Informed Evaluation of Piano Transcription Models},
  author = {Patricia Hu and Lukáš Samuel Marták and Carlos Cancino-Chacón and Gerhard Widmer},
  journal= {arXiv preprint arXiv:2406.08454},
  year   = {2024}
}

备注

Accepted at the 25th International Society for Music Information Retrieval Conference (ISMIR 2024)