乐谱 Transformer:超越单声部转录的端到端光学乐谱识别
计算机视觉与模式识别
2024-04-30 v2 声音
音频与语音处理
摘要
迄今为止,最先进的端到端光学乐谱识别(OMR)主要采用单声部转录技术来处理复杂的乐谱布局(如复调音乐),这通常需要通过简化或特定适配来实现。尽管这些方法行之有效,但它们也带来了可扩展性挑战和局限性。本文提出了 Sheet Music Transformer,这是首个旨在不单纯依赖单声部策略即可转录复杂乐谱的端到端 OMR 模型。我们的模型采用基于 Transformer 的图像到序列框架,能够从输入图像预测标准数字音乐编码格式的乐谱转录结果。该模型已在两个复调音乐数据集上进行了测试,证明能够有效处理这些复杂的音乐结构。实验结果不仅表明了该模型的能力,还显示其优于最先进的方法,从而推动了端到端 OMR 转录的发展。
引用
@article{arxiv.2402.07596,
title = {Sheet Music Transformer: End-To-End Optical Music Recognition Beyond Monophonic Transcription},
author = {Antonio Ríos-Vila and Jorge Calvo-Zaragoza and Thierry Paquet},
journal= {arXiv preprint arXiv:2402.07596},
year = {2024}
}
备注
Submitted to the International Conference on Document Analysis and Recognition 2024