Glimpse-Attend-and-Explore：用于主动视觉探索的自注意力机制
计算机视觉与模式识别
2021-08-27 v1
摘要
主动视觉探索旨在帮助具有有限视野的智能体，通过在场景中选择最佳视角方向基于部分观测来理解其环境。最近的方法试图通过强化学习（难以训练）或不确定性图（特定于任务且仅能用于密集预测任务）来解决这个问题。在本文中，我们提出了 Glimpse-Attend-and-Explore 模型，该模型： 采用自注意力机制而非特定任务的不确定性图来引导视觉探索； 可用于密集和稀疏预测任务； 使用对比流进一步改进所学表示。与以往工作不同，我们展示了我们的模型在重建、分割和分类等多个任务上的应用。我们的模型提供了令人鼓舞的结果，同时在驱动探索时对数据集偏差的依赖性较低。我们进一步进行了消融研究，以调查我们的模型学习到的特征和注意力。最后，我们表明我们的自注意力模块通过最小化下游任务的损失，学习关注场景的不同区域。代码：https://github.com/soroushseifi/glimpse-attend-explore。
引用
@article{arxiv.2108.11717,
title = {Glimpse-Attend-and-Explore: Self-Attention for Active Visual Exploration},
author = {Soroush Seifi and Abhishek Jha and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2108.11717},
year = {2021}
}