80 步环游世界：一种全局视觉地理定位的生成式方法
计算机视觉与模式识别
2024-12-10 v1 机器学习
摘要
全局视觉地理定位预测图像在地球上的拍摄位置。由于图像在定位精度上存在差异，该任务本质上涉及显著的不确定性。然而，现有方法是确定性的，忽略了这一方面。在本文中，我们旨在弥合传统地理定位与现代生成式方法之间的差距。我们提出了首个基于扩散和黎曼流匹配的生成式地理定位方法，其中去噪过程直接在地球表面进行。我们的模型在三个视觉地理定位基准上取得了最先进性能：OpenStreetView-5M、YFCC-100M 和 iNat21。此外，我们引入了概率视觉地理定位任务，其中模型预测所有可能位置的概率分布而非单个点。我们为该任务引入了新的度量和基线，证明了基于扩散的方法的优势。代码和模型将公开发布。
引用
@article{arxiv.2412.06781,
title = {Around the World in 80 Timesteps: A Generative Approach to Global Visual Geolocation},
author = {Nicolas Dufour and David Picard and Vicky Kalogeiton and Loic Landrieu},
journal= {arXiv preprint arXiv:2412.06781},
year = {2024}
}
备注
Project page: https://nicolas-dufour.github.io/plonk