ZeroReg：基于基础模型的零样本点云配准
计算机视觉与模式识别
2024-12-17 v3
摘要
当前最先进的 3D 点云配准方法依赖带标注的 3D 数据集进行训练，这限制了其在真实场景中的实际应用，并常常阻碍其泛化到未见过的场景。利用基础模型的零样本能力为解决这些挑战提供了一个有前景的方案。本文提出 ZeroReg，一种利用 2D 基础模型预测 3D 对应关系的零样本配准方法。具体而言，ZeroReg 采用从物体到点的匹配策略，首先使用基础模型从多视图图像中进行物体定位和语义特征提取。在物体匹配阶段，语义特征有助于识别跨视图的物体间对应关系。然而，仅依赖语义特征可能导致歧义，尤其是在包含多个同类实例的场景中。为解决此问题，我们构建场景图以捕捉物体间的空间关系，并对这些图应用图匹配算法以精确识别匹配的物体。最后，在匹配的物体区域内使用 SuperGlue 和 LoFTR 等算法计算细粒度的点级对应关系，从而实现鲁棒的点云配准。在 3DMatch、3DLoMatch 和 ScanNet 等基准上的评估证明了 ZeroReg 的竞争性性能，凸显了其通过整合基础模型的语义特征来推动点云配准发展的潜力。
引用
@article{arxiv.2312.03032,
title = {ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models},
author = {Weijie Wang and Wenqi Ren and Guofeng Mei and Bin Ren and Xiaoshui Huang and Fabio Poiesi and Nicu Sebe and Bruno Lepri},
journal= {arXiv preprint arXiv:2312.03032},
year = {2024}
}