解耦特征与坐标以实现少样本 RGB 重定位
计算机视觉与模式识别
2022-08-17 v4
摘要
跨场景模型适配对于真实场景中的相机重定位至关重要。通常希望预学习模型能以尽可能少的训练样本快速适配到新场景。然而,现有的最先进方法由于图像特征提取与场景坐标回归的纠缠,难以支持这种少样本场景适配。为解决此问题,我们采用解耦方案处理相机重定位,其中特征提取、坐标回归与位姿估计分别进行。我们的核心见解是,用于坐标回归的特征编码器应通过去除坐标系的干扰因素来学习,从而使其从多场景中学习通用特征表示,更重要的是,学习视角不敏感的能力。借助该特征先验,并结合坐标回归器,新场景中的少样本观测比现有集成方案更容易与三维世界建立联系。实验表明,与最先进方法相比,我们的方法具有优越性,在具有不同视觉外观与视角分布的多个场景上取得了更高精度。
引用
@article{arxiv.1911.11534,
title = {Decoupling Features and Coordinates for Few-shot RGB Relocalization},
author = {Siyan Dong and Songyin Wu and Yixin Zhuang and Kai Xu and Shanghang Zhang and Baoquan Chen},
journal= {arXiv preprint arXiv:1911.11534},
year = {2022}
}
备注
This is a very early initialization of a research project and contains some out-of-date results and errors. A later version with significant improvements has been published as a new paper. See arXiv:2208.06933