面向视觉导航的图像空间参考轨迹局部化学习
机器人学
2026-02-24 v1
摘要
我们提出了LoTIS，一种用于视觉导航的模型，通过在机器人当前视图中局部化参考RGB轨迹，提供机器人无关的图像空间指导，无需相机标定、姿态或机器人特定的训练。与预测特定机器人动作不同，我们预测参考轨迹在机器人当前视图中出现的图像空间坐标。这一设计创建了机器人无关的视觉指导，轻松集成到局部规划中。因此，我们模型的预测在不同机体之间以零样本方式提供指导。通过将感知与动作解耦并学习轨迹点的局部化，而非模仿行为先验，我们实现了对视点和相机变化的鲁棒性。我们在常规前向导航任务上超越了最先进的方法，成功率提升了20-50个百分点，在多样化的仿真和真实环境中实现了94-98%的成功率。此外，在基线失败的具有挑战性的任务上（如后向遍历）实现了5倍以上的改进。该系统使用简单：我们展示了即使是来自手机相机的视频，也能让不同的机器人导航到轨迹上的任何点。视频、演示和代码均可在https://finnbusch.com/lotis获取。
引用
@article{arxiv.2602.18803,
title = {Learning to Localize Reference Trajectories in Image-Space for Visual Navigation},
author = {Finn Lukas Busch and Matti Vahs and Quantao Yang and Jesús Gerardo Ortega Peimbert and Yixi Cai and Jana Tumova and Olov Andersson},
journal= {arXiv preprint arXiv:2602.18803},
year = {2026}
}