乐谱图像中的乐谱跟随

本文研究将短音乐音频片段匹配到乐谱图像中对应像素位置的问题。提出了一个系统，它同时学习读谱、听音并将当前演奏的音乐匹配到乐谱中对应的音符。该系统由一个端到端多模态卷积神经网络组成，以乐谱图像和相应音频片段的频谱图作为输入。对于给定的未见过的音频片段（覆盖大约一小节音乐），它学习预测相应谱线中的对应位置。我们的结果表明，利用（深度）神经网络——已被证明是强大的图像处理模型——处理乐谱变得可行，并且是一个有前景的未来研究方向。