InstructNav:用于未探索环境中通用指令导航的零样态系统
机器人学
2024-06-10 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
使机器人能够在未探索的环境中遵循多样化语言指令进行导航是人机交互的吸引目标。然而,这一目标具有挑战性,因为不同的导航任务需要不同的策略。指令导航数据的稀缺性阻碍了训练具有多样化策略的导航模型。因此,以往方法均受限于特定类型的导航指令。在本工作中,我们提出InstructNav,一个通用指令导航系统。InstructNav首次尝试在无需导航训练或预构建地图的情况下处理各种指令导航任务。为实现这一目标,我们引入动态指令导航链(DCoN),以统一处理不同类型的导航指令规划过程。进一步,我们提出多来源价值图,以建模指令导航中的关键要素,以便将语言DCoN规划转换为机器人可操作轨迹。通过InstructNav,我们首次以零样态方式完成R2R-CE任务,并优于许多任务训练方法。此外,InstructNav在零样态Habitat ObjNav和需求驱动导航DDN上分别超过了上一SOTA方法10.48%和86.34%。在多样化室内场景的实际机器人实验中进一步证明了该方法在应对环境和指令变化方面的鲁棒性。
引用
@article{arxiv.2406.04882,
title = {InstructNav: Zero-shot System for Generic Instruction Navigation in Unexplored Environment},
author = {Yuxing Long and Wenzhe Cai and Hongcheng Wang and Guanqi Zhan and Hao Dong},
journal= {arXiv preprint arXiv:2406.04882},
year = {2024}
}
备注
Submitted to CoRL 2024