C-BEV：用于跨视角图像检索与三自由度位姿估计的对比鸟瞰图训练
计算机视觉与模式识别
2023-12-14 v1
摘要
为了找到街景图像的地理位置，跨视角地理定位（CVGL）方法通常在带有地理参考的航拍图像数据库上执行图像检索，并从视觉上最相似的匹配中确定位置。近期方法主要关注街景和航拍图像预先选定以对齐平移或方向的设置，但在需要将不同相机位姿匹配到同一航拍图像的挑战性真实场景中表现不佳。我们提出了一种新颖的可训练检索架构，该架构使用鸟瞰图（BEV）而非向量作为嵌入表示，并明确解决了真实场景中出现的多对一歧义性。基于 BEV 的检索使用与经典检索相同的对比设置和损失进行训练。我们的方法 C-BEV 在多个数据集的检索任务上大幅超越了现有最优方法。它在挑战性的多对一场景中尤为有效，例如，在 VIGOR 的未知方向跨区域划分上，将 top-1 召回率从 31.1% 提升至 65.0%。尽管模型仅通过应用于图像对的对比目标进行监督，但它额外学会了推断匹配航拍图像上的三自由度相机位姿，甚至比那些使用度量真值显式训练的方法产生了更低的平均位姿误差。
引用
@article{arxiv.2312.08060,
title = {C-BEV: Contrastive Bird's Eye View Training for Cross-View Image Retrieval and 3-DoF Pose Estimation},
author = {Florian Fervers and Sebastian Bullinger and Christoph Bodensteiner and Michael Arens and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2312.08060},
year = {2023}
}