聚焦你的注意力：一种用于图文匹配的双向焦点注意力网络
多媒体
2019-09-26 v1
摘要
学习图像与文本之间的语义对应具有重要意义，因为它弥合了视觉与语言之间的语义鸿沟。关键挑战在于准确发现并关联图像与文本中的共享语义。大多数现有方法通过将共享语义表示为所有片段（图像区域或文本词）的加权组合来实现这一目标，其中与共享语义相关的片段获得更多注意力，否则更少。然而，尽管相关片段对共享语义贡献更大，不相关片段仍会或多或少地干扰它，从而在关联阶段导致语义错位。为解决此问题，我们提出一种新颖的双向焦点注意力网络 (BFAN)，其不仅允许关注相关片段，还将全部注意力导入这些相关片段以集中于它们。与现有工作的主区别在于，后者多聚焦于学习注意力权重，而我们的 BFAN 聚焦于从共享语义中消除不相关片段。焦点注意力通过基于模态间关系预分配注意力、基于模态内关系识别相关片段并重新分配注意力来实现。此外，焦点注意力在图像到文本与文本到图像两个方向上联合应用，从而避免对长文本或复杂图像的偏好。实验表明，我们简洁而有效的框架显著优于当前最优方法，在 Flicr30K 与 MSCOCO 基准上相对 Recall@1 分别提升 2.2%。
引用
@article{arxiv.1909.11416,
title = {Focus Your Attention: A Bidirectional Focal Attention Network for Image-Text Matching},
author = {Chunxiao Liu and Zhendong Mao and An-An Liu and Tianzhu Zhang and Bin Wang and Yongdong Zhang},
journal= {arXiv preprint arXiv:1909.11416},
year = {2019}
}
备注
Accepted by ACMMM2019