Mem4Nav：用于城市环境视觉语言导航的层次化空间认知长短期记忆系统
摘要
在大规模城市环境中进行视觉语言导航 (VLN) 需要机体智能体在复杂场景中对语言指令进行 grounding，并在延长的时间范围内回想相关经验。先前的模块化管道虽然可解释性强，但缺乏统一的记忆；而端到端 (M)LLM 智能体在融合视觉和语言方面表现出色，但受限于固定的上下文窗口和隐式的空间推理。我们引入 Mem4Nav，一种层次化空间认知长短期记忆系统，可增强任何 VLN 主干网络。Mem4Nav 将稀疏八叉树用于细粒度的体素索引，结合语义拓扑图用于高层 landmark 连通性，将两者存储在通过可逆 Transformer 嵌入的可训练记忆 token 中。长期记忆 (LTM) 在八叉树和图节点处压缩保存历史观察，而短期记忆 (STM) 在相对坐标中缓存最近的多模态条目，以实现实时障碍规避和局部规划。在每一步中，STM 检索显著削减动态上下文，当需要更深的历史时，LTM token 无损解码以重建过去的嵌入。在Touchdown 和 Map2Seq 上进行评估，这三个主干网络（模块化、基于提示的 LLM 的 SOTA VLN、基于 strided-attention MLLM 的 SOTA VLN）均显示出 7-13 pp Task Completion gains，足够的 SPD 降低，以及 >10 pp nDTW 改善。消融实验确认层次化地图和双记忆模块的必不可少性。我们的コード已通过 https://github.com/tsinghua-fib-lab/Mem4Nav 开源。
引用
@article{arxiv.2506.19433,
title = {Mem4Nav: Boosting Vision-and-Language Navigation in Urban Environments with a Hierarchical Spatial-Cognition Long-Short Memory System},
author = {Lixuan He and Haoyu Dong and Zhenxing Chen and Yangcheng Yu and Jie Feng and Yong Li},
journal= {arXiv preprint arXiv:2506.19433},
year = {2025}
}
备注
The paper is currently under investigation regarding concerns of potential academic misconduct. While the investigation is ongoing, the authors have voluntarily requested to withdraw the manuscript