PCR-CG：通过深度显式颜色与几何的点云配准
计算机视觉与模式识别
2024-01-02 v2
摘要
本文提出 PCR-CG：一种新颖的三维点云配准模块，将颜色信号显式嵌入几何表示中。与以往仅使用几何表示的方法不同，我们的模块专为在点云配准任务中有效地将颜色与几何相关联而设计。我们的关键贡献是一种 2D-3D 跨模态学习算法，将从颜色信号中学习的深度特征嵌入到几何表示中。通过我们设计的 2D-3D 投影模块，从图像中感知的以对应点为中心的平方区域内像素特征能够有效地与点云相关联。这样，重叠区域不仅可以从点云推断，还可以从纹理外观推断。添加颜色并非易事。我们与多种为 3D 添加颜色而设计的基线进行比较，例如以隐式方式穷尽地添加逐像素特征或 RGB 值。我们以 Predator [25] 为基线方法，并将我们提出的模块集成到其上。为验证 2D 特征的有效性，我们对不同的 2D 预训练网络进行消融实验，并显示出预训练权重与任务性能之间的正相关。我们的实验结果表明，在 3DLoMatch 基准上配准召回率比基线方法显著提高了 6.5%。我们还在 SOTA 方法上额外评估了我们的方法，并观察到一致的改进，例如比 GeoTransformer 配准召回率提高 2.4%，比 CoFiNet 提高 3.5%。我们的研究揭示了在配准任务中将显式深度颜色特征与点云相关联的显著优势。
引用
@article{arxiv.2302.14418,
title = {PCR-CG: Point Cloud Registration via Deep Explicit Color and Geometry},
author = {Yu Zhang and Junle Yu and Xiaolin Huang and Wenhui Zhou and Ji Hou},
journal= {arXiv preprint arXiv:2302.14418},
year = {2024}
}
备注
accepted to ECCV2022; code at https://github.com/Gardlin/PCR-CG