AttentionRNN：一种结构化空间注意力机制

视觉注意力机制已被证明是现代许多深度神经架构中不可或缺的组成部分。它们提供了一种高效且有效的方式来选择性地利用视觉信息，这在多模态学习任务中尤为有价值。然而，所有先前的注意力框架都缺乏显式建模注意力变量间结构依赖关系的能力，难以预测一致的注意力掩码。本文提出一种新颖的结构化空间注意力机制，可端到端训练并能与任何前馈卷积神经网络集成。所提出的 AttentionRNN 层通过以双向光栅扫描与逆光栅扫描顺序在空间掩码中顺序预测注意力值，显式地施加空间注意力变量上的结构。因此，每个注意力值不仅依赖于局部图像或上下文信息，还依赖于先前预测的注意力值。我们的实验在多种识别任务与数据集（包括图像分类、问答和图像生成）上展现出一致的定量与定性提升。