用于将音乐与故事匹配的情感嵌入空间

内容创作者经常使用音乐来增强他们的故事，因为音乐可以成为传达情感的有力工具。在本文中，我们的目标是帮助创作者找到与故事情感相匹配的音乐。我们关注可被听觉化的基于文本的故事（例如书籍），使用多个句子作为输入查询，并自动检索匹配的音乐。我们将此任务形式化为跨模态文本到音乐检索问题。音乐和文本领域均存在带有情感标签的数据集，但情感词汇表的不匹配使我们无法直接使用情绪或情感标注进行匹配。为应对这一挑战，我们提出并研究了几种情感嵌入空间，包括人工定义的（例如效价/唤醒度）和数据驱动的（例如 Word2Vec 和度量学习），以弥合这一差距。我们的实验表明，通过利用这些嵌入空间，我们能够成功弥合模态之间的差距，从而促进跨模态检索。我们表明，我们的方法可以利用成熟的效价-唤醒度空间，但也可以通过数据驱动的嵌入空间实现我们的目标。通过利用数据驱动的嵌入，我们的方法有望推广到需要更广泛或完全不同词汇表的其他检索任务中。