自监督几何感知
计算机视觉与模式识别
2021-03-05 v1 机器学习
机器人学
摘要
我们提出自监督几何感知（SGP），这是首个无需任何真实几何模型标签（如相机位姿、刚体变换）即可学习用于对应匹配的特征描述符的通用框架。我们的第一个贡献是将几何感知表述为一个优化问题，该问题在给定大量视觉测量数据（如图像、点云）的情况下，联合优化特征描述符与几何模型。在此优化表述下，我们指出视觉研究中两条重要脉络——即鲁棒模型拟合与深度特征学习——对应于固定一组未知变量而优化另一组未知变量。该分析自然引出我们的第二个贡献：即执行交替最小化以求解该联合优化的SGP算法。SGP迭代执行两种元算法：其一为教师，在给定学习到的特征下执行鲁棒模型拟合以生成几何伪标签；其二为学生，在伪标签的含噪监督下执行深度特征学习。作为第三个贡献，我们将SGP应用于大规模真实数据集上的两个感知问题，即MegaDepth上的相对相机位姿估计与3DMatch上的点云配准。我们证明SGP取得了与利用真实标签训练的有监督基线相当或更优的SOTA性能。
引用
@article{arxiv.2103.03114,
title = {Self-supervised Geometric Perception},
author = {Heng Yang and Wei Dong and Luca Carlone and Vladlen Koltun},
journal= {arXiv preprint arXiv:2103.03114},
year = {2021}
}
备注
CVPR 2021, Oral presentation. 8 pages main results, 19 pages in total, including references and supplementary