RealDiff：使用自监督扩散模型的真实世界 3D 形状补全
计算机视觉与模式识别
2024-09-17 v1
摘要
点云补全旨在从部分观测中恢复物体的完整 3D 形状。尽管依赖合成形状先验的方法在该领域取得了令人瞩目的成果，但它们对真实世界数据的适用性与泛化能力仍然有限。为了解决这一问题，我们提出了一种自监督框架，即 RealDiff，将点云补全直接表述为基于真实世界测量数据的条件生成问题。为了在不依赖合成数据训练的情况下更好地处理含噪观测，我们利用了额外的几何线索。具体而言，RealDiff 在物体缺失部分模拟扩散过程，同时以部分输入作为生成的条件，以应对该任务的多模态特性。我们进一步通过将该方法预测的物体轮廓与深度图与外部估计的轮廓与深度图进行匹配，来对训练进行正则化。实验结果表明，我们的方法在真实世界点云补全中始终优于 SOTA 方法。
引用
@article{arxiv.2409.10180,
title = {RealDiff: Real-world 3D Shape Completion using Self-Supervised Diffusion Models},
author = {Başak Melis Öcal and Maxim Tatarchenko and Sezer Karaoglu and Theo Gevers},
journal= {arXiv preprint arXiv:2409.10180},
year = {2024}
}