利用手机拍摄的乐谱图像检索 MIDI 乐段
多媒体
2020-04-27 v1 声音
音频与语音处理
图像与视频处理
摘要
本文研究了一种跨模态检索问题：用户通过拍摄数行乐谱的手机照片，从 MIDI 文件中检索出对应的音乐段落。该问题具有挑战性，原因有二：其一，作为面向用户的应用，它具有显著的运行时约束；其二，包含手机乐谱图像的相关训练数据极少。为解决此问题，我们提出了一种称为 bootleg 乐谱（bootleg score）的新颖特征表示，用于编码乐谱中符头相对于谱线的位置。MIDI 表示可利用西方记谱法的确定性规则转换为 bootleg 乐谱，而乐谱图像可利用检测简单几何形状的传统计算机视觉技术转换为 bootleg 乐谱。一旦 MIDI 与手机图像均被转换为 bootleg 乐谱，我们即可使用动态规划估计其对齐关系。我们系统最显著的特点是完全没有可训练权重——仅有一组约 40 个超参数。在仅 400 张图像的训练集上，我们表明系统能很好地泛化到来自 160 个未见乐谱的更大规模 1600 张测试图像集。我们的系统取得了 0.89 的测试 F 值分数，平均运行时间为 0.90 秒，并且优于基于音乐对象检测与乐谱-音频对齐的基线系统。我们提供了对系统的广泛实验验证与分析。
引用
@article{arxiv.2004.11724,
title = {Using Cell Phone Pictures of Sheet Music To Retrieve MIDI Passages},
author = {TJ Tsai and Daniel Yang and Mengyi Shan and Thitaree Tanprasert and Teerapat Jenrungrot},
journal= {arXiv preprint arXiv:2004.11724},
year = {2020}
}
备注
13 pages, 8 figures, 3 tables. Accepted article in IEEE Transactions on Multimedia. arXiv admin note: text overlap with arXiv:2004.10347