HiMemVLN：基于层次记忆系统提升开源零样图视觉语言导航可靠性
计算机视觉与模式识别
2026-03-17 v1 机器人学
摘要
LLM-based 代理在视觉语言导航 (VLN) 任务中展现出惊人的零样性能。然而，大多数零样方法主要依赖闭源 LLM 作为导航器，面临高 token 成本和潜在数据泄露风险等挑战。最近的努力尝试通过使用开源 LLM 结合时空 CoT 框架来缓解此问题，但仍远不及闭源模型。本文通过对导航过程的详细分析，识别出一种关键问题——导航遗忘 (Navigation Amnesia)，该问题导致导航失败并放大了开源方法与闭源方法之间的差距。为解决此问题，我们提出了 HiMemVLN，将层次记忆系统 (Hierarchical Memory System) 融入多模态大模型，以增强视觉感知记忆和长期定位，从而缓解遗忘问题并提高代理的导航性能。在模拟和真实环境中的大量实验表明，HiMemVLN 的性能几乎是开源最先进方法的两倍。代码已公开于 https://github.com/lvkailin0118/HiMemVLN。
引用
@article{arxiv.2603.14807,
title = {HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System},
author = {Kailin Lyu and Kangyi Wu and Pengna Li and Xiuyu Hu and Qingyi Si and Cui Miao and Ning Yang and Zihang Wang and Long Xiao and Lianyu Hu and Jingyuan Sun and Ce Hao},
journal= {arXiv preprint arXiv:2603.14807},
year = {2026}
}
备注
9 pages, 7 figures