弱监督VLM引导的部分对比学习用于视觉语言导航
计算机视觉与模式识别
2025-06-23 v1
摘要
视觉语言导航（VLN）是具身人工智能领域中的一项基本任务，聚焦于智能体能够否基于自然语言指令在复杂环境中进行导航。尽管现有方法取得了一些进展，但这些方法常面临若干常见挑战。首先，它们依赖预训练的 backbone 模型进行视觉感知，在VLN场景中难以应对动态视角。其次，由于缺乏VLN领域知识，仅使用预训练的大语言模型（LLM）或视觉语言模型（VLM）时性能受限。再者，虽然对LLM和VLM进行微调可提升效果，但计算成本高于不进行微调的方法。为解决这些限制，我们提出了一种弱监督部分对比学习（Weakly-supervised Partial Contrastive Learning, WPCL）方法，通过有效整合预训练VLM知识于感知过程，而无需对VLM进行微调，增强智能体在VLN场景中从动态视角识别对象的能力。该方法提升了智能体解释和响应环境线索的能力，同时确保了计算效率。实验结果表明，在多个基准数据集上，我们的方法优于基线方法，验证了其有效性、鲁棒性和普适性。
引用
@article{arxiv.2506.15757,
title = {Weakly-supervised VLM-guided Partial Contrastive Learning for Visual Language Navigation},
author = {Ruoyu Wang and Tong Yu and Junda Wu and Yao Liu and Julian McAuley and Lina Yao},
journal= {arXiv preprint arXiv:2506.15757},
year = {2025}
}