PIGEON：面向目标语言模型驱动的对象导航
机器人学
2025-11-18 v1 计算机视觉与模式识别
摘要
导航至未知环境中的指定目标物体是具身智能的基本且具有挑战性的能力。然而，现有方法在决策频率与智能性之间难以取得平衡，导致决策缺乏前瞻性或行动不连续。本文提出 PIGEON：Point of Interest Guided Exploration for Object Navigation with VLM，通过维护探索期间轻量且语义对齐的快照记忆作为探索策略的语义输入。我们使用名为 PIGEON-VL 的大型视觉语言模型 (VLM) 来选择在探索期间形成的兴趣点 (PoI)，然后采用低层规划器输出动作，从而提高决策频率。此外，基于 PoI 的决策使生成适用于模拟器的可验证奖励强化学习 (RLVR) 数据成为可能。实验在经典对象导航基准测试上表明，我们的零样本迁移方法实现了最先进的性能，而 RLVR 进一步增强了模型的语义指导能力，使其在实时导航中能够进行深层推理。
引用
@article{arxiv.2511.13207,
title = {PIGEON: VLM-Driven Object Navigation via Points of Interest Selection},
author = {Cheng Peng and Zhenzhe Zhang and Cheng Chi and Xiaobao Wei and Yanhao Zhang and Heng Wang and Pengwei Wang and Zhongyuan Wang and Jing Liu and Shanghang Zhang},
journal= {arXiv preprint arXiv:2511.13207},
year = {2025}
}