图像位于世界何处？基于 Transformer 的野外地理定位
计算机视觉与模式识别
2022-07-26 v2
摘要
从一张拍摄于世界任何地方的地面级 RGB 图像预测地理位置（地理定位）是一个极具挑战性的问题。挑战包括由于不同环境场景导致的图像巨大多样性、同一地点因一天中的时间、天气、季节而外观剧烈变化，更重要的是，预测仅基于单张图像且可能只含少量地理定位线索。出于这些原因，大多数现有工作局限于特定城市、图像或世界地标。本工作中，我们致力于开发一种面向行星尺度单图像地理定位的高效方案。为此，我们提出 TransLocator，一种统一的双分支 Transformer 网络，可关注整幅图像上的微小细节，并在极端外观变化下产生鲁棒的特征表示。TransLocator 以一张 RGB 图像及其语义分割图作为输入，在每个 Transformer 层之后于其两个并行分支间进行交互，并以多任务方式同时执行地理定位和场景识别。我们在四个基准数据集——Im2GPS、Im2GPS3k、YFCC4k、YFCC26k 上评估 TransLocator，相较最先进水平分别取得 5.5%、14.1%、4.9%、9.9% 的大洲级准确率提升。TransLocator 也在真实世界测试图像上得到验证，并被发现比先前方法更有效。
引用
@article{arxiv.2204.13861,
title = {Where in the World is this Image? Transformer-based Geo-localization in the Wild},
author = {Shraman Pramanick and Ewa M. Nowara and Joshua Gleason and Carlos D. Castillo and Rama Chellappa},
journal= {arXiv preprint arXiv:2204.13861},
year = {2022}
}
备注
Accepted in ECCV 2022