基于循环模型的乐段摘要用于音频-乐谱检索

跨模态音乐检索的许多应用涉及将乐谱图像与音频录音相连接。对此一种典型且近期的方法是经由深度神经网络学习一个联合嵌入空间，通过适当的相似度结构将音频与乐谱的短固定大小片段相关联。然而，该策略产生的两个挑战是：需要强对齐数据来训练网络，以及由局部和全局速度差异引起的音频与乐谱片段间音乐内容的内在差异。在本文中，我们通过设计一个跨模态循环网络来解决这两个缺陷，该网络学习能够摘要对应音频与乐谱较长乐段的联合嵌入。我们方法的优势在于仅需弱对齐的音频-乐谱对，且循环网络能处理由音频与乐谱间速度变化引起的非线性。我们在合成与真实钢琴数据和乐谱上进行了若干实验，表明我们所提出的循环方法在所有可能配置下均带来更准确的检索。