利用乐谱手机照片进行MIDI片段检索
多媒体
2020-04-23 v1 声音
音频与语音处理
图像与视频处理
摘要
本文研究了一个跨模态检索问题，其中用户希望通过拍摄实体乐谱页的手机照片，从MIDI文件中检索出一段音乐。尽管音频-sheet乐谱检索已被若干工作探讨，但此场景的新颖之处在于查询为手机照片而非数字扫描件。为解决该问题，我们引入一种称为bootleg乐谱的中层特征表示，其显式编码西方音乐记谱法规则。我们使用音乐确定性规则以及用于检测简单几何形状的经典计算机视觉技术，将MIDI和乐谱均转换为bootleg乐谱。一旦MIDI和手机图像被转换为bootleg乐谱，我们使用动态规划估计对齐。我们系统最显著的特征是它进行测试时自适应且完全没有可训练权重——仅有一组约30个超参数。在包含对100份古典钢琴乐谱拍摄的1000张手机照片的数据集上，我们的系统达到了0.869的F度量分数，并优于基于商业光学音乐识别软件的基线系统。
引用
@article{arxiv.2004.10347,
title = {MIDI Passage Retrieval Using Cell Phone Pictures of Sheet Music},
author = {Daniel Yang and Thitaree Tanprasert and Teerapat Jenrungrot and Mengyi Shan and TJ Tsai},
journal= {arXiv preprint arXiv:2004.10347},
year = {2020}
}
备注
8 pages, 8 figures, 1 table. Accepted paper at the International Society for Music Information Retrieval Conference (ISMIR) 2019