基于对比对齐损失的旋律-歌词匹配

音乐与歌词之间的联系远超语义联系。脉冲和韵律、音符时长和音节韵律、结构对应等概念配对在音乐信息检索领域引发了引人入胜的但鲜少被探索的方向。本文提出 melody-lyrics matching（MLM），这是一种新任务，用于从文本来源检索给定符号旋律的潜在歌词。与从头生成歌词不同，MLM 本质上利用旋律与歌词之间的关系。我们提出了一个基于对比对齐损失的自监督表示学习框架，用于旋律和歌词。这有潜在利用现有成对旋律和歌词的丰富资源。无需对齐注释。此外，我们引入 sylphone，这是一种受音素身份和元音韵律激活的歌词在音节级别上的新型表示。我们通过实证结果和直观示例展示了该方法能够将旋律与连贯且可唱的歌词匹配。我们开源代码并在伴随网页上提供匹配示例：https://github.com/changhongw/mlm。