基于风格对齐的无人机视角地理位置定位动态观察方法
计算机视觉与模式识别
2024-07-04 v1
摘要
无人机视角地理位置定位任务是通过将查询卫星/无人机图像与由无人机/卫星图像构成的参考数据集进行匹配来估计查询图像的位置。尽管在卫星视图和无人机视图之间进行特征对齐方面取得了显著进展，但由于视角、高度和光照变化导致的图像在类别内和类别间的差异仍然是巨大的挑战。本文提出了一种基于风格对齐的无人机视角地理位置定位动态观察方法，从两个角度解决上述挑战：视觉风格转换和周围噪声控制。具体地，我们引入风格对齐策略，将无人机视图图像的多样视觉风格转换为统一的卫星图像视觉风格。随后设计动态观察模块，通过模拟人类观察习惯来评估图像的空间分布。该模块采用具有双环环流结构的层次注意力块 (HAB)，以减少周围噪声和地理变形。此外，我们提出一种解构损失，以计算相关性来推远不同地理标签的特征并挤压未匹配图像的知识。实验结果表明，我们的方法在基准数据集上实现了最先进的性能。特别是与在 University-1652 数据集上已有的最佳方法 (FSRA) 相比，我们的结果仅使用约2倍的参数即可超越其表现。代码将在 https://github.com/Xcco1/SA_DOM 公开。
引用
@article{arxiv.2407.02832,
title = {Style Alignment based Dynamic Observation Method for UAV-View Geo-localization},
author = {Jie Shao and LingHao Jiang},
journal= {arXiv preprint arXiv:2407.02832},
year = {2024}
}
备注
has published on IEEE Transactions on Geoscience and Remote Sensing, 2023