对齐乐谱与歌词转录
计算机视觉与模式识别
2024-12-06 v1
摘要
声乐乐谱的数字化带来了超越传统光学乐谱识别（OMR）和光学字符识别（OCR）的独特挑战，因为它需要保留乐谱与歌词之间的关键对齐关系。这种对齐对于实际应用中的正确解读和处理至关重要。本文首次提出并形式化了“对齐乐谱与歌词转录”（AMNLT）挑战，该挑战通过联合考虑音乐符号、歌词及其同步关系来解决声乐乐谱的完整转录问题。我们分析了应对这一挑战的不同方法，从分别处理音乐和歌词的传统分治法，到新颖的端到端解决方案，包括直接转录、展开机制和语言建模。为评估这些方法，我们引入了四个格里高利圣咏数据集，包含真实和合成数据源，以及专门设计用于评估转录和对齐准确性的自定义指标。我们的实验结果表明，在对齐挑战中，端到端方法通常优于启发式方法，其中语言模型在拥有足够训练数据的场景中显示出特别的潜力。这项工作为AMNLT建立了首个综合框架，为保存和数字化声乐遗产提供了理论基础和实用解决方案。
引用
@article{arxiv.2412.04217,
title = {Aligned Music Notation and Lyrics Transcription},
author = {Eliseo Fuentes-Martínez and Antonio Ríos-Vila and Juan C. Martinez-Sevilla and David Rizo and Jorge Calvo-Zaragoza},
journal= {arXiv preprint arXiv:2412.04217},
year = {2024}
}