指尖之间：从视频中提取钢琴指法指示
计算机视觉与模式识别
2023-03-08 v1
摘要
钢琴指法——即知道用哪根手指弹奏乐曲中的每个音符——是学习钢琴时一项困难且重要的技能。虽然部分乐谱带有专家标注的指法信息，但大多数乐曲缺乏此类信息，人们常求助于从在线视频的演示中学习指法。我们考虑从视频中自动提取指法信息的AI任务。这是一项非平凡的任务，因为手指常被其他手指遮挡，且从视频中通常难以看清按下了哪些键，需要同步手部位置信息与所弹奏音符的知识。我们展示了如何通过结合深度学习模块（包括基于GAN的域外数据微调方法）以高准确率完成该任务。我们以 97\% 的 f1 分数提取了指法信息。我们在 90 个视频上运行所得系统，得到了 150K 音符的高质量钢琴指法信息，这是迄今为止最大的可用钢琴指法数据集。
引用
@article{arxiv.2303.03745,
title = {At Your Fingertips: Extracting Piano Fingering Instructions from Videos},
author = {Amit Moryossef and Yanai Elazar and Yoav Goldberg},
journal= {arXiv preprint arXiv:2303.03745},
year = {2023}
}
备注
6 pages, paper from 2019