迈向鲁棒且真正大规模的声音-乐谱检索

多模态音乐信息检索的一系列应用围绕将大型乐谱（图像）集合与相应音频录音连接的问题展开，即识别指向同一音乐内容的音频与谱例片段对。该任务典型且最新的方法之一采用跨模态深度学习架构来学习联结两种不同模态——音频与乐谱图像——的联合嵌入空间。尽管近年来此方面稳步改进，若干开放问题仍阻碍该方法的大规模应用。本文试图对基于深度学习的声音-乐谱检索当前进展提供深入考察。我们首先确定在真实场景中迈向鲁棒大规模跨模态音乐检索之路上的一组主要挑战。然后我们强调迄今为应对其中若干挑战所采取的步骤，逐步记录多个维度上的改进。最后我们分析剩余挑战并提出解决思路，以铺平通向统一且鲁棒的跨模态音乐检索方法论之路。