WildOS：野外开放词汇对象搜索
机器人学
2026-02-24 v1 计算机视觉与模式识别
摘要
在复杂、非结构化的户外环境中实现自主导航，需要机器人在无需先验地图且深度感知受限的情况下进行长距离作业。在此类场景下，仅依赖几何前沿进行探索往往不够。必须能够对前往何处以及何处安全可通行进行语义推理，以实现稳健、高效的探索。本工作提出WildOS，一个用于长距离、开放词汇对象搜索的统一系统，将安全几何探索与语义视觉推理相结合。WildOS 构建稀疏导航图以维持空间记忆，同时利用基于基础模型的视觉模块ExploRFM 对图的前沿节点进行评分。ExploRFM 同时预测可遍历性、视觉前沿和图像空间中的对象相似性，从而实现实时、嵌入式语义导航任务。所得的视觉评分图使机器人能够在确保几何安全的同时，以语义有意义的方向进行探索。此外，我们引入一种基于粒子滤波的方法，用于对开放词汇目标查询进行粗略定位，该方法估计目标位置的候选位置，超出机器人当前深度视野，从而实现对远距离目标的有效规划。大量闭环现场实验覆盖多样化的离岸和城市地形，表明WildOS 能实现稳健导航，在效率和自主性方面显著优于纯几何和纯视觉基准方法。我们的结果凸显了视觉基础模型驱动开放世界机器人行为的潜力，这些行为既在语义上有信息，又在几何上得到支撑。项目页面：https://leggedrobotics.github.io/wildos/
引用
@article{arxiv.2602.19308,
title = {WildOS: Open-Vocabulary Object Search in the Wild},
author = {Hardik Shah and Erica Tevere and Deegan Atha and Marcel Kaufmann and Shehryar Khattak and Manthan Patel and Marco Hutter and Jonas Frey and Patrick Spieler},
journal= {arXiv preprint arXiv:2602.19308},
year = {2026}
}
备注
28 pages, 16 figures, 2 tables