Image2song：通过桥接图像内容与歌词词语的歌曲检索
计算机视觉与模式识别
2017-08-22 v1 信息检索
多媒体
摘要
图像通常用于表达某种情感或意图，例如爱、庆祝圣诞节。另一种更好的方式是将图像与相关歌曲结合以放大表达效果，这最近在社交网络中引起了广泛关注。因此，歌曲的自动选择值得期待。在本文中，我们提出仅通过图像查询来检索语义相关的歌曲，称之为image2song问题。受在语义/内容层面建立关联的需求驱动，我们构建了一个基于语义的歌曲检索框架，该框架学习图像内容与歌词词语之间的关联。该模型使用卷积神经网络从图像区域生成丰富标签，使用循环神经网络对歌词建模，然后通过多层感知机建立关联。为缩小图像与歌词之间的内容鸿沟，我们提出通过标签注意力使歌词建模聚焦于图像主要内容。我们从社交共享多模态数据中收集了一个数据集来研究所提出的问题，该数据集由（图像、音乐片段、歌词）三元组构成。我们证明了所提模型在image2song检索任务中表现出显著效果并提供了合适的歌曲。此外，还进行了song2image任务。
引用
@article{arxiv.1708.05851,
title = {Image2song: Song Retrieval via Bridging Image Content and Lyric Words},
author = {Xuelong Li and Di Hu and Xiaoqiang Lu},
journal= {arXiv preprint arXiv:1708.05851},
year = {2017}
}
备注
13 pages, 13 figures, accepted by ICCV 2017