用于视觉问答的双重循环注意力单元

视觉问答（VQA）要求AI模型理解视觉与文本两个领域的数据。当前最先进的模型使用习得的注意力机制从输入域中提取相关信息以回答特定问题。因此，鲁棒的注意力机制对于强大的VQA模型至关重要。本文提出一种循环注意力机制，并展示其相对于传统卷积方法的优势。我们进行两项消融研究以评估循环注意力。首先，我们引入一个带视觉注意力的基线VQA模型，并在VQA 2.0数据集上测试卷积注意力与循环注意力的性能差异。其次，我们设计了一种利用双重（文本与视觉）循环注意力单元（RAUs）的VQA架构。使用该模型，我们展示了循环与卷积双重注意力的所有可能组合的效果。我们的单一模型优于VQA 2016挑战赛的第一名获胜者，并且据我们所知，它是VQA 1.0数据集上性能第二好的单一模型。此外，我们的模型显著改进了VQA 2017挑战赛的获胜者。而且，我们尝试将最先进模型中的注意力机制替换为我们的RAUs，并展示了性能的提升。