用于视觉问答的高阶注意力模型

对能够赋予认知能力的算法的探索是机器学习中的一个重要部分。许多近期被研究的类认知任务的一个共同特点是它们考虑了不同的数据模态，例如视觉与文本输入。在本文中，我们提出了一种新颖且普遍适用的注意力机制形式，可学习各种数据模态之间的高阶相关性。我们表明，高阶相关性能够有效地将适当的注意力引导至解决联合任务所需的不同数据模态中的相关元素上。我们在视觉问答（VQA）任务上展示了我们的高阶注意力机制的有效性，在该标准VQA数据集上我们取得了最先进的性能。