TransGeo：跨视角图像地理定位仅需 Transformer
计算机视觉与模式识别
2022-04-04 v1
摘要
基于 CNN 的跨视角图像地理定位主流方法依赖极坐标变换且无法建模全局关联。我们提出一种纯 transformer 的方法（TransGeo）从另一角度解决这些局限。TransGeo 充分利用 transformer 在全局信息建模与显式位置信息编码上的优势。我们进一步利用 transformer 输入的灵活性，提出一种注意力引导的非均匀裁剪方法，从而以可忽略的性能下降去除无信息图像块以降低计算成本。所节省的计算可重新分配用于仅对信息块提高分辨率，从而在不增加额外计算成本的情况下提升性能。这种“关注并放大”策略与人类观察图像时的行为高度相似。值得注意的是，TransGeo 在城市与乡村数据集上均达到最先进（SOTA）结果，且计算成本显著低于基于 CNN 的方法。它不依赖极坐标变换且推理快于基于 CNN 的方法。代码见 https://github.com/Jeff-Zilence/TransGeo2022。
引用
@article{arxiv.2204.00097,
title = {TransGeo: Transformer Is All You Need for Cross-view Image Geo-localization},
author = {Sijie Zhu and Mubarak Shah and Chen Chen},
journal= {arXiv preprint arXiv:2204.00097},
year = {2022}
}
备注
CVPR