SCENES：基于极线监督的亚像素对应点估计
计算机视觉与模式识别
2024-01-22 v1 人工智能
机器学习
机器人学
摘要
从场景的两个或多个视图中提取点对应是计算机视觉中的一个基本问题，对于相对相机位姿估计和运动恢复结构（structure-from-motion）尤为重要。现有的局部特征匹配方法在大规模数据集上利用对应点监督进行训练，在测试集上获得了高精度的匹配结果。然而，与经典特征提取器不同，它们难以泛化到具有不同特征的新数据集。相反，它们需要微调，而这通常假设存在真实对应点或真实相机位姿及三维结构。我们通过移除对三维结构（如深度图或点云）的需求来放宽这一假设，仅需要可从里程计获得的相机位姿信息。为此，我们用极线损失替换对应点损失，鼓励假设匹配点位于相关的极线上。虽然极线线索弱于对应点监督，但我们观察到该线索足以在新数据上微调现有模型。随后，我们通过在新颖的自举方法中使用位姿估计，进一步放宽了对已知相机位姿的假设。我们在极具挑战性的数据集上进行了评估，包括室内无人机数据集和室外智能手机相机数据集，并在无强监督的情况下获得了最先进（state-of-the-art）的结果。
引用
@article{arxiv.2401.10886,
title = {SCENES: Subpixel Correspondence Estimation With Epipolar Supervision},
author = {Dominik A. Kloepfer and João F. Henriques and Dylan Campbell},
journal= {arXiv preprint arXiv:2401.10886},
year = {2024}
}