ETPNav：连续环境中视觉-语言导航的演化式拓扑规划
计算机视觉与模式识别
2024-01-23 v3 计算与语言
机器人学
摘要
视觉-语言导航是一项要求智能体遵循指令在环境中导航的任务。它在具身 AI 领域日益关键，在自主导航、搜索救援及人机交互方面具有潜在应用。本文提出解决一个更实用却更具挑战的对应设定——连续环境中的视觉-语言导航（VLN-CE）。为开发鲁棒的 VLN-CE 智能体，我们提出新导航框架 ETPNav，聚焦于两项关键能力：1）抽象环境并生成长程导航规划的能力；2）在连续环境中避障控制的能力。ETPNav 通过沿遍历路径自组织预测航点，在线拓扑建图，无需先验环境经验。它使智能体能将导航过程分解为高层规划与低层控制。同时，ETPNav 利用基于 transformer 的跨模态规划器，基于拓扑图与指令生成导航规划。该规划随后由避障控制器执行，后者采用试错启发式防止导航卡入障碍物。实验结果证明了所提方法的有效性。在 R2R-CE 与 RxR-CE 数据集上，ETPNav 分别比先前最优（SOTA）提升逾 10% 与 20%。我们的代码见 https://github.com/MarSaKi/ETPNav。
引用
@article{arxiv.2304.03047,
title = {ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments},
author = {Dong An and Hanqing Wang and Wenguan Wang and Zun Wang and Yan Huang and Keji He and Liang Wang},
journal= {arXiv preprint arXiv:2304.03047},
year = {2024}
}
备注
Project page: https://github.com/MarSaKi/ETPNav