基于抽象障碍地图的航路点预测与TopoGraph及VisitInfo感知提示词驱动的零样本VLN增强
机器人学
2025-09-26 v1 人工智能
摘要
随着基础模型和机器人技术的快速发展，视觉语言导航（VLN）已成为具身智能体的关键任务，具有广泛的实际应用。我们研究连续环境中的VLN，这是一种特别具有挑战性的设定，智能体必须联合解读自然语言指令、感知周围环境并规划低级动作。我们提出了一种零样本框架，将一个简化但有效的航路点预测器与多模态大语言模型（MLLM）相结合。该预测器在抽象障碍地图上运行，生成线性可达的航路点，这些航路点被纳入一个动态更新的拓扑图中，并包含明确的访问记录。图和访问信息被编码到提示词中，使智能体能够同时推理空间结构和探索历史，从而鼓励探索并赋予MLLM局部路径规划能力以进行错误修正。在R2R-CE和RxR-CE上的大量实验表明，我们的方法达到了最先进的零样本性能，成功率分别为41%和36%，优于先前的方法。
引用
@article{arxiv.2509.20499,
title = {Boosting Zero-Shot VLN via Abstract Obstacle Map-Based Waypoint Prediction with TopoGraph-and-VisitInfo-Aware Prompting},
author = {Boqi Li and Siyuan Li and Weiyi Wang and Anran Li and Zhong Cao and Henry X. Liu},
journal= {arXiv preprint arXiv:2509.20499},
year = {2025}
}