面向长程视觉语言导航：平台、基准与方法
计算机视觉与模式识别
2025-03-20 v3
摘要
现有的视觉语言导航 (VLN) 方法主要聚焦于单阶段导航，限制了其在复杂和动态环境中处理多阶段和长程任务时的效果。为此，我们提出了一种新颖的 VLN 任务，称为长程视觉语言导航 (LH-VLN)，该任务强调跨连续子任务的长期规划与决策一致性。 Furthermore, 为支持 LH-VLN，我们开发了一个自动化数据生成平台 NavGen，采用双向、多粒度生成方法构建具有复杂任务结构的数据集并提升数据实用性。为准确评估复杂任务，我们构建了视觉语言导航中的长程规划与推理 (LHPR-VLN) 基准，包含 3,260 个任务，平均约 150 个任务步骤，首个专为长程视觉语言导航任务设计的数据集。此外，我们提出了独立成功率 (ISR)、条件成功率 (CSR) 以及以 Ground Truth 为权重的 CSR (CGT) 指标，以对任务完成情况进行细粒度评估。为提高模型在复杂任务中的适应性，我们提出了一种新颖的多粒度动态记忆 (MGDM) 模块，将短期记忆模糊与长期记忆检索相结合，以在动态环境中实现灵活的导航。我们的平台、基准与方法为 LH-VLN 提供了稳健的数据生成流程、全面的模型评估数据集、合理的评估指标以及一种新颖的 VLN 模型，建立了推动 LH-VLN 发展的基础框架。
引用
@article{arxiv.2412.09082,
title = {Towards Long-Horizon Vision-Language Navigation: Platform, Benchmark and Method},
author = {Xinshuai Song and Weixing Chen and Yang Liu and Weikai Chen and Guanbin Li and Liang Lin},
journal= {arXiv preprint arXiv:2412.09082},
year = {2025}
}
备注
Accepted by CVPR 2025. A novel Long-Horizon Vision-Language Navigation task, project page: https://hcplab-sysu.github.io/LH-VLN/