基于语义和结构约束的无人机绝对视觉定位分层图像匹配

绝对定位旨在确定智能体相对于全局参考系的位置，对无人机（UAV）在各种应用中至关重要，但在全球导航卫星系统（GNSS）信号不可用时变得困难。基于视觉的绝对定位方法通过将无人机的当前视图定位在参考卫星地图上来估计其位置，已成为 GNSS 缺失场景中的流行方法。然而，现有方法大多依赖传统的低级图像匹配，由于跨源差异和时间变化引入的显著差异而面临困难。为克服这些限制，在本文中，我们提出了一种用于无人机绝对定位的分层跨源图像匹配方法，该方法将基于语义感知和结构约束的粗匹配模块与轻量级细粒度匹配模块相结合。具体而言，在粗匹配模块中，来自视觉基础模型的语义特征首先在语义和结构约束下建立区域级对应关系。然后，细粒度匹配模块被应用于提取细粒度特征并建立像素级对应关系。在此基础上，构建了一个不依赖任何相对定位技术的无人机绝对视觉定位流水线，主要通过在所提出的分层图像匹配模块之前使用图像检索模块来实现。在公开基准数据集和新引入的 CS-UAV 数据集上的实验评估证明了所提方法在各种挑战条件下的优越精度和鲁棒性，验证了其有效性。