仅标记重复段即可实现野外音频-乐谱对齐
声音
2024-11-13 v1 机器学习
多媒体
音频与语音处理
摘要
我们提出了一种高效的工作流，用于野外演奏音频与相应乐谱扫描（图像）的高质量离线对齐。近期关于音频-乐谱对齐的工作将动态时间规整（DTW）扩展为理论上能够处理乐谱中重复记号引起的跳转——该方法无需人工标注，但我们表明它通常产生低质量的对齐。作为替代，我们提出了一种工作流和界面，允许用户通过点击重复记号快速标注跳转，仅需少量人工监督即可平均获得更高质量的对齐。此外，我们优化了音频和乐谱特征表示以提高对齐质量：（1）将小节检测集成到乐谱特征表示中，（2）使用音乐转录模型的原始起音预测概率代替钢琴卷帘。我们提出了一种音频-乐谱对齐评估协议，以小节为单位计算估计对齐与真实对齐之间的距离。在此评估下，我们发现提出的跳转标注工作流和改进的特征表示共同将对齐准确率相较于先前工作提高了150%（从33%提升至82%）。
引用
@article{arxiv.2411.07428,
title = {Just Label the Repeats for In-The-Wild Audio-to-Score Alignment},
author = {Irmak Bukey and Michael Feffer and Chris Donahue},
journal= {arXiv preprint arXiv:2411.07428},
year = {2024}
}
备注
25th International Society for Music Information Retrieval Conference, San Francisco, 2024