非结构化越野地形中基于时空对比学习的跨视角视频定位
计算机视觉与模式识别
2025-06-06 v1 机器人学
摘要
在GPS信号缺失的越野环境中，实现鲁棒的跨视角3自由度定位仍然具有挑战性，原因在于：(1) 重复性植被和非结构化地形带来的感知歧义，以及(2) 季节变化显著改变场景外观，阻碍与过时卫星影像的对齐。为解决这一问题，我们提出了MoViX，一个自监督的跨视角视频定位框架，能够学习视角不变和季节不变的表征，同时保留对精确定位至关重要的方向感知。MoViX采用依赖姿态的正样本采样策略以增强方向判别能力，并利用时间对齐的难负样本挖掘来抑制从季节线索进行的捷径学习。运动感知的帧采样器选择空间多样化的帧，轻量级时间聚合器强调几何对齐的观测同时降低模糊观测的权重。在推理阶段，MoViX在蒙特卡洛定位框架内运行，以学习到的跨视角匹配模块替代手工设计的模型。熵引导的温度缩放实现了在视觉歧义下的鲁棒多假设跟踪和可靠收敛。我们在TartanDrive 2.0数据集上评估MoViX，训练数据不足30分钟，测试覆盖12.29公里。尽管卫星影像已过时，MoViX在93%的情况下将定位误差控制在25米以内，在未见区域100%的情况下控制在50米以内，优于最先进基线且无需环境特定调优。我们进一步在一个地理上不同且机器人平台不同的真实越野数据集上展示了泛化能力。
引用
@article{arxiv.2506.05250,
title = {Spatiotemporal Contrastive Learning for Cross-View Video Localization in Unstructured Off-road Terrains},
author = {Zhiyun Deng and Dongmyeong Lee and Amanda Adkins and Jesse Quattrociocchi and Christian Ellis and Joydeep Biswas},
journal= {arXiv preprint arXiv:2506.05250},
year = {2025}
}