AMC：用于图像搜索的注意力引导多模态相关性学习
计算机视觉与模式识别
2017-04-05 v1
摘要
给定用户的查询，传统图像搜索系统根据其与单一模态（例如图像内容或周围文本）的相关性对图像进行排序。如今，互联网上越来越多的图像带有丰富模态的相关元数据（例如标题、关键词、标签等），这可以用于更好地度量与查询的相似度。在本文中，我们通过学习视觉和文本模态与输入查询的相关性，将它们用于图像搜索。根据查询意图，可以引入注意力机制来自适应地平衡不同模态的重要性。我们提出了一种新颖的注意力引导多模态相关性（AMC）学习方法，它由联合学习的内部和外部注意力网络层级组成。在查询意图的条件下，内部注意力网络（即视觉内部注意力网络和语言内部注意力网络）关注每个模态内的信息部分；多模态外部注意力网络则提升与查询最相关模态的重要性。在实验中，我们在两个真实世界图像搜索引擎的搜索日志上评估了 AMC 模型，并显示搜索结果中用户点击图像的排序有显著提升。此外，我们将 AMC 模型扩展到 COCO 数据集上的图像描述排序任务，并取得了与近期最先进方法相比具有竞争力的结果。
引用
@article{arxiv.1704.00763,
title = {AMC: Attention guided Multi-modal Correlation Learning for Image Search},
author = {Kan Chen and Trung Bui and Fang Chen and Zhaowen Wang and Ram Nevatia},
journal= {arXiv preprint arXiv:1704.00763},
year = {2017}
}
备注
CVPR 2017