通过发现半变异图上的硬负样本来增强地理位置对齐的对比学习
计算机视觉与模式识别
2025-09-29 v1 人工智能
摘要
准确且稳健的全球尺度图像-based 地理位置对齐因多样化的环境、视觉模糊的场景以及许多地区缺乏显著地标而具有挑战性。虽然对比学习方法通过对齐街景图像与相应位置的特征显示出有前景的性能，但忽略了地理空间中的空间依赖性。结果导致他们无法解决假负样本问题——即两幅图像在视觉和地理上都相似但被标记为负样本，以及难以有效区分硬负样本——即在视觉上相似但在地理上相距甚远。为此，我们提出了一种集成半变异图的空间正则化对比学习策略，后者是建模空间相关性如何随距离变化的地统计工具。通过将特征空间中的距离与地理距离相关联来拟合半变异图，捕捉以空间相关性为参考的预期视觉内容。利用拟合后的半变异图，我们以给定空间距离的预期视觉不相似性为参考来识别硬负样本和假负样本。我们将该策略集成到 GeoCLIP 中，并在 OSV5M 数据集上进行评估，证明在地理空间先验模型显式建模可提高图像-based 地理位置对齐性能，尤其是在更细粒度方面。
引用
@article{arxiv.2509.21573,
title = {Enhancing Contrastive Learning for Geolocalization by Discovering Hard Negatives on Semivariograms},
author = {Boyi Chen and Zhangyu Wang and Fabian Deuser and Johann Maximilian Zollner and Martin Werner},
journal= {arXiv preprint arXiv:2509.21573},
year = {2025}
}