演化图规划器：视觉与语言导航中的上下文全局规划
计算机视觉与模式识别
2020-07-14 v1 人工智能
机器人学
摘要
执行有效规划的能力对于构建遵循指令的智能体至关重要。当在新环境中导航时，智能体面临以下挑战：（1）将自然语言指令与其逐步增长的世界知识相联系；（2）以有效探索与纠错的形式进行长程规划与决策。尽管已有大量努力，当前方法在两方面仍受限。本文中，我们提出演化图规划器（EGP），一种基于原始感官输入为导航执行全局规划的模型。该模型动态构建图表示，泛化动作空间以允许更灵活的决策，并在代理图表示上执行高效规划。我们在一个具有照片级真实图像的极具挑战性的视觉与语言导航（VLN）任务上评估了模型，并取得优于以往导航架构的性能。例如，我们通过纯模仿学习在 Room-to-Room 导航任务的测试集上达到 53% 成功率，比以往导航架构高出至多 5%。
引用
@article{arxiv.2007.05655,
title = {Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation},
author = {Zhiwei Deng and Karthik Narasimhan and Olga Russakovsky},
journal= {arXiv preprint arXiv:2007.05655},
year = {2020}
}