面向街景地理定位的空间加权CLIP
计算机视觉与模式识别
2026-04-07 v1
摘要
本文提出一种空间加权CLIP（Spatially-Weighted CLIP, SW-CLIP），是一种用于街景地理定位的新型框架，显式地将空间自相关纳入视觉语言对比学习中。不同于传统CLIP方法将所有非匹配样本视为等权负样本，SW-CLIP利用托布尔第一定律（Tobler's First Law of Geography）通过距离感知的软监督建模地理关系。具体而言，我们引入位置-文本表示来编码地理位置，将单热编码InfoNCE目标替换为由测地距离派生的空间加权软标签。此外，还采用邻域一致性正则化以保留嵌入空间中的局部空间结构。实验在多城市数据集上表明，SW-CLIP显著提高了地理定位精度，减少了长尾错误，并增强了空间连贯性。结果凸显了从语义对齐转向地理对齐对于稳健地理定位的重要性，并为将空间原则整合到多模态表征学习中提供了一种通用范式。
引用
@article{arxiv.2604.04357,
title = {Spatially-Weighted CLIP for Street-View Geo-localization},
author = {Ting Han and Fengjiao Li and Chunsong Chen and Haoling Huang and Yiping Chen and Meiliu Wu},
journal= {arXiv preprint arXiv:2604.04357},
year = {2026}
}