一种基于 Transformer 的特征分割与区域对齐方法用于无人机视角地理定位
计算机视觉与模式识别
2022-01-25 v1 人工智能
摘要
跨视角地理定位是从不同视角（如无人机（UAV）与卫星）匹配同一地理图像的任务。最困难的挑战是位置偏移以及距离与尺度的不确定性。现有方法主要致力于挖掘更全面的细粒度信息。然而，它低估了提取鲁棒特征表示的重要性以及特征对齐的影响。基于 CNN 的方法在跨视角地理定位中已取得巨大成功。但它仍有一些局限性，例如只能提取邻域中的部分信息，且一些尺度缩减操作会使某些细粒度信息丢失。特别地，我们引入一种简单高效的基于 Transformer 的结构，称为特征分割与区域对齐（FSRA），以增强模型理解上下文信息以及理解实例分布的能力。在不使用额外监督信息的情况下，FSRA 基于 Transformer 特征图的热度分布划分区域，然后将不同视角中的多个特定区域一对一对齐。最后，FSRA 将每个区域整合为一组特征表示。不同之处在于，FSRA 不是手动划分区域，而是基于特征图的热度分布自动划分。从而使得在图像存在显著偏移和尺度变化时，特定实例仍能被划分和对齐。此外，提出了一种多重采样策略以克服卫星图像与其他来源图像数量上的差异。实验表明，所提方法具有优越性能，并在无人机视角目标定位与无人机导航两项任务中均达到了最先进水平。代码将发布于 https://github.com/Dmmm1997/FSRA
引用
@article{arxiv.2201.09206,
title = {A Transformer-Based Feature Segmentation and Region Alignment Method For UAV-View Geo-Localization},
author = {Ming Dai and Jianhong Hu and Jiedong Zhuang and Enhui Zheng},
journal= {arXiv preprint arXiv:2201.09206},
year = {2022}
}
备注
14 pages, 13 figures, IEEE Transactions on Circuits and Systems for Video Technology