F2M-Reg: 基于帧到模型优化的无监督 RGB-D 点云配准
计算机视觉与模式识别
2025-05-02 v3
摘要
本文研究无监督 RGB-D 点云配准问题,旨在训练一个无需真值姿态监督的鲁棒配准模型。现有方法通常利用无姿态的 RGB-D 序列,并采用基于可微分渲染的帧到帧框架来训练配准模型,该框架通过强制两帧之间的光度一致性和几何一致性来进行监督。然而,这种帧到帧框架容易受到不同帧之间不一致因素的影响,例如光照变化、几何遮挡和反射材料,这导致配准模型收敛到次优解。在本文中,我们提出了一种新颖的帧到模型优化框架,名为 F2M-Reg,用于无监督 RGB-D 点云配准。我们利用神经隐式场作为场景的全局模型,通过将帧配准到全局模型来优化帧的估计姿态,随后使用优化后的姿态训练配准模型。得益于神经隐式场的全局编码能力,我们的帧到模型框架对不同帧之间的不一致因素具有显著更强的鲁棒性,因此可以为配准模型提供更好的监督。此外,我们证明 F2M-Reg 可以通过一种简单的合成预热策略进一步增强。为此,我们构建了一个名为 Sim-RGBD 的逼真合成数据集,用于在真实世界 RGB-D 序列上进行帧到模型优化之前初始化配准模型。在四个具有挑战性的基准上的大量实验表明,我们的方法大幅超越了之前最先进的同类方法,尤其是在光照变化剧烈和重叠度低的场景下。我们的代码和模型可在 https://github.com/MrIsland/F2M_Reg 获取。
引用
@article{arxiv.2405.00507,
title = {F2M-Reg: Unsupervised RGB-D Point Cloud Registration with Frame-to-Model Optimization},
author = {Zhinan Yu and Zheng Qin and Yijie Tang and Yongjun Wang and Renjiao Yi and Chenyang Zhu and Kai Xu},
journal= {arXiv preprint arXiv:2405.00507},
year = {2025}
}