双线性注意力网络
计算机视觉与模式识别
2018-10-22 v2 人工智能
计算与语言
机器学习
摘要
多模态学习中的注意力网络提供了一种选择性利用给定视觉信息的高效方式。然而，为每一对多模态输入通道学习注意力分布的计算代价高得令人望而却步。为解决此问题，协同注意力为每个模态分别构建两个独立的注意力分布，忽略了多模态输入之间的交互。本文提出双线性注意力网络（BAN），其寻找双线性注意力分布以无缝利用给定的视觉-语言信息。BAN考虑两组输入通道间的双线性交互，而低秩双线性池化提取每对通道的联合表示。此外，我们提出一种多模态残差网络的变体，以高效利用BAN的八重注意力图。我们在视觉问答（VQA 2.0）和Flickr30k Entities数据集上定量与定性地评估了我们的模型，表明BAN显著优于先前方法，并在两个数据集上均达到新的SOTA。
引用
@article{arxiv.1805.07932,
title = {Bilinear Attention Networks},
author = {Jin-Hwa Kim and Jaehyun Jun and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:1805.07932},
year = {2018}
}
备注
Accepted by NIPS 2018; Figure 1 was updated