利用生成式AI和几何一致性实现定位检索的天气鲁棒性
计算机视觉与模式识别
2024-02-15 v1
摘要
最先进的视觉定位方法通常依赖于第一步的图像检索，其作用至关重要。然而，由于天气或一天中的时间等因素，检索在面临变化条件时常常表现不佳，这对视觉定位精度产生严重影响。在本文中，我们改进了这一检索步骤，并使其适应最终的定位任务。在我们倡导的若干更改中，我们提出合成训练集图像的变体，这些变体由生成式文本到图像模型获得，以便自动将训练集扩展到一系列特别损害视觉定位的可命名变化。在扩展训练集之后，我们提出了一种训练方法，利用这种真实和合成图像混合的特定性和底层几何结构。实验表明，这些更改在最具挑战性的视觉定位数据集上带来了巨大的改进。项目页面：https://europe.naverlabs.com/ret4loc
引用
@article{arxiv.2402.09237,
title = {Weatherproofing Retrieval for Localization with Generative AI and Geometric Consistency},
author = {Yannis Kalantidis and Mert Bülent Sarıyıldız and Rafael S. Rezende and Philippe Weinzaepfel and Diane Larlus and Gabriela Csurka},
journal= {arXiv preprint arXiv:2402.09237},
year = {2024}
}
备注
Accepted at ICLR 2024. Project Page: https://europe.naverlabs.com/ret4loc