基于学习的高斯泼溅渲染与微调扩散特征的少样本点云重建与去噪
计算机视觉与模式识别
2024-04-25 v4 计算几何
摘要
现有的用于点云重建与去噪的深度学习方法依赖于小规模 3D 形状数据集。我们通过利用在数十亿图像上训练的深度学习方法来规避这一问题。我们提出了一种方法，利用从基于图像的深度学习模型中蒸馏出的先验知识，从少量图像重建点云，并通过点云的渲染对点云进行去噪。为了改进受限设置下的重建，我们通过引入语义一致性监督，来正则化具有混合表面与外观的可微渲染器的训练。此外，我们提出了一条微调 Stable Diffusion 以对含噪点云的渲染进行去噪的流水线，并展示了如何使用这些学习到的滤波器在无 3D 监督的情况下去除点云噪声。我们将我们的方法与 DSS 和 PointRadiance 进行了比较，在 Sketchfab Testset 和 SCUT Dataset 上实现了更高质量的 3D 重建。
引用
@article{arxiv.2404.01112,
title = {Few-shot point cloud reconstruction and denoising via learned Guassian splats renderings and fine-tuned diffusion features},
author = {Pietro Bonazzi and Marie-Julie Rakatosaona and Marco Cannici and Federico Tombari and Davide Scaramuzza},
journal= {arXiv preprint arXiv:2404.01112},
year = {2024}
}
备注
An author was not timely informed before the released submission