简洁、有效且通用：一种用于跨视角图像地理定位的新骨干网络
计算机视觉与模式识别
2023-02-06 v1
摘要
本文关注一个重要但较少被探索的问题：专为跨视角地理定位任务设计的简洁而有效的骨干网络。现有跨视角地理定位方法常具有如下特征：1）方法复杂，2）计算耗 GPU，3）强假设航拍与地面图像中心或方向对齐。为应对跨视角图像匹配上述三挑战，我们提出一种新骨干网络，称为基于简单注意力的图像地理定位网络（SAIG）。所提 SAIG 以多头自注意力层有效表征块间长程交互及跨视角对应。我们 SAIG 的“窄深”架构在不损性能前提下提升特征丰富度，而其浅层高效卷积干 preserves 局部性，避免块化边界信息丢失。我们的 SAIG 在跨视角地理定位上取得最先进结果，同时远比先前工作简洁。此外，相较最先进方法仅用 15.9% 的模型参数与一半输出维度，SAIG 在多个跨视角数据集上良好适配，无需任何精心设计的特征聚合模块或特征对齐算法。另外，我们的 SAIG 在图像检索基准上取得有竞争力分数，进一步展示其通用性。作为骨干网络，我们的 SAIG 既易复现又计算轻量，于实际场景有意义。此外，我们提出一种简单空间混合特征聚合模块（SMD），可将空间信息混合并投影至低维空间以生成特征描述子……（代码见 https://github.com/yanghongji2007/SAIG）
引用
@article{arxiv.2302.01572,
title = {Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization},
author = {Yingying Zhu and Hongji Yang and Yuxin Lu and Qiang Huang},
journal= {arXiv preprint arXiv:2302.01572},
year = {2023}
}
备注
Under Review