RUMAA:面向记谱演奏对齐、转谱与错误检测的重复感知统一音频分析
声音
2025-07-17 v1 计算与语言
机器学习
音频与语音处理
摘要
本研究介绍 RUMAA,一种基于 Transformer 的音乐演奏分析框架,将记谱到演奏的对齐、记谱感知转谱和错误检测统一集成于近乎端到端的 manner。不同于先前针对这些任务各自解决的方法,RUMAA 使用预训练的记谱编码器和音频编码器,以及一种新颖的三流解码器,通过代理任务捕获任务之间的相互依赖性。它将人类可读的 MusicXML 记谱与演奏音频中的重复标记对齐,克服了传统基于 MIDI 的方法,这些方法依赖于手动展开的记谱-MIDI 数据并预先指定重复结构。RUMAA 在非重复记谱上匹配最新对齐方法的性能,在包含重复标记的记谱上则取得优势,并展现出有前景的转谱和错误检测结果。
关键词
引用
@article{arxiv.2507.12175,
title = {RUMAA: Repeat-Aware Unified Music Audio Analysis for Score-Performance Alignment, Transcription, and Mistake Detection},
author = {Sungkyun Chang and Simon Dixon and Emmanouil Benetos},
journal= {arXiv preprint arXiv:2507.12175},
year = {2025}
}
备注
Accepted to WASPAA 2025