关注与分割：注意力引导的主动语义分割
计算机视觉与模式识别
2020-07-23 v1
摘要
在动态环境中，视野/资源受限的智能体在尝试解析场景之前无法完全观测场景。在此类设置下，部署常见的语义分割架构并不可行。本文中，我们提出一种给定部分观测序列逐步分割场景的方法。主要思想是通过关注其最不确定的区域来精炼智能体对环境的理解。我们的方法包括一个自监督注意力机制以及一个专门的架构，用于维护并利用空间记忆图来填充环境中未观测区域。智能体可以选择并关注一个区域，同时依赖来自已访问区域的线索来幻觉出其他部分。我们在 CityScapes、CamVid 和 Kitti 数据集上仅处理 18% 的图像像素（10 次类视网膜 glimpses）便达到了 78.1%、80.9% 和 76.5% 的平均像素级准确率。我们对 glimpses 数量、输入图像大小以及类视网膜 glimpses 的有效性进行了消融研究。我们将我们的方法与若干基线比较，并表明最优结果是通过在第一个时间步访问场景的极低分辨率视图实现的。
引用
@article{arxiv.2007.11548,
title = {Attend and Segment: Attention Guided Active Semantic Segmentation},
author = {Soroush Seifi and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2007.11548},
year = {2020}
}