乐观智能体：基于图的精确价值估计以实现更成功的视觉导航
计算机视觉与模式识别
2020-12-08 v2
摘要
我们人类仅给定目标物体名称，即便在陌生环境中也能完美地搜索该物体。我们认为这一能力主要源于三点：融入先验知识（或经验）、利用观测到的视觉线索将其适配到新环境，以及最重要的——乐观搜索而不过早放弃。当前基于强化学习（RL）的先进视觉导航方法尚缺此能力。本文中，我们提议使用外部习得的物体相对位置先验知识，并通过构建神经图将其整合进模型。为高效融入该图而不增加状态空间复杂度，我们提出了基于图的价值估计（GVE）模块。GVE 为 actor-critic RL 算法中优势函数的估计提供了更精确的基线，从而减小价值估计误差并收敛到更优策略。经实证研究发现，我们称为“乐观智能体”的 agent 在导航回合中对状态价值有更现实的估计，从而带来更高的成功率。大量消融实验显示了我们简方法的效力，其在 AI2THOR 环境中以常规视觉导航指标（如成功率（SR）和按路径长度加权的成功率（SPL））取得了当前最优结果。
引用
@article{arxiv.2004.03222,
title = {Optimistic Agent: Accurate Graph-Based Value Estimation for More Successful Visual Navigation},
author = {Mahdi Kazemi Moghaddam and Qi Wu and Ehsan Abbasnejad and Javen Qinfeng Shi},
journal= {arXiv preprint arXiv:2004.03222},
year = {2020}
}
备注
Accepted for publication at WACV 2021