构建具有时空注意力的类别图表示用于视觉导航

给定一个感兴趣的目标，视觉导航旨在基于一系列部分观测到达该目标的位置。为此，智能体需要 1) 在训练期间学习关于世界中物体类别关系的特定知识，以及 2) 在当前未见环境中基于预先学习的物体类别关系及其移动轨迹寻找目标物体。在本文中，我们提出了一个类别关系图 (CRG) 来学习物体类别布局关系的知识，以及一个时空区域 (TSR) 注意力架构来感知有助于导航的物体的长期时空依赖关系。我们学习物体布局的先验知识，建立一个类别关系图来推断特定物体的位置。随后，我们引入 TSR 来捕获观测轨迹中物体在时间、空间和区域上的关系。具体来说，我们提出了一个时间注意力模块 (T) 来建模观测序列的时间结构，该结构隐式编码了历史移动或轨迹信息。然后，使用空间注意力模块 (S) 基于类别关系图和过去的观测来揭示当前观测物体的空间上下文。最后，区域注意力模块 (R) 将注意力转移到与目标相关的区域。基于我们方法提取的视觉表示，智能体可以更好地感知环境并轻松学习到优越的导航策略。在 AI2-THOR 上的实验表明，我们的 CRG-TSR 方法在有效性和效率方面均显著优于现有方法。代码已包含在补充材料中，并将公开发布。