基于隐式跨域对应关系的长期不变局部特征
计算机视觉与模式识别
2023-11-07 v1
摘要
现代基于学习的视觉特征提取网络在域内定位中表现良好,然而当图像对是在长期视觉域变化(如不同季节与昼夜变化)下捕获时,其性能显著下降。在本文中,我们的首个贡献是一个用于研究长期变化对视觉定位性能影响的基准。我们对当前最先进的特征提取网络在各种域变化下的性能进行了透彻分析,发现了域内与跨域定位之间的显著性能差距。我们研究了通过改进现代特征提取器网络的监督来缩小这一差距的不同方法。我们提出了一种新颖的以数据为中心的方法,隐式跨域对应关系(iCDC)。iCDC 用多个神经辐射场表示同一环境,每个场在各自视觉域下拟合场景。它利用底层的三维表示来生成不同长期视觉条件下的准确对应关系。我们提出的方法提升了跨域定位性能,显著缩小了性能差距。在流行的长期定位基准上评估时,我们训练的网络持续优于现有方法。本工作朝着面向长期部署的更鲁棒视觉定位流程迈出了实质性一步,并为长期不变描述子的开发开辟了研究途径。
引用
@article{arxiv.2311.03345,
title = {Long-Term Invariant Local Features via Implicit Cross-Domain Correspondences},
author = {Zador Pataki and Mohammad Altillawi and Menelaos Kanakis and Rémi Pautrat and Fengyi Shen and Ziyuan Liu and Luc Van Gool and Marc Pollefeys},
journal= {arXiv preprint arXiv:2311.03345},
year = {2023}
}
备注
14 pages + 5 pages appendix, 13 figures