利用预训练文本到图像扩散模型完成点云补全
计算机视觉与模式识别
2023-06-21 v1
摘要
现实应用中采集的点云数据常不完整。数据缺失通常由于物体仅从部分视角观测，仅捕获特定透视或角度。此外，数据也会因遮挡与低分辨率采样而不完整。现有补全方法依赖预定义物体数据集来引导含噪且不完整点云的补全。然而，当在训练集中代表性差的分布外(OOD)物体上测试时，这些方法表现不佳。此处我们利用文本引导图像生成的最新进展，其在文本引导形状生成上取得重大突破。我们描述一种称为SDS-Complete的方法，其使用预训练文本到图像扩散模型并利用给定物体不完整点云的文本语义，以获得完整表面表示。SDS-Complete可在测试时优化下补全多种物体，无需昂贵的3D信息收集。我们在由真实深度传感器与LiDAR扫描仪捕获的不完整扫描物体上评估SDS-Complete。我们发现它有效重建常见数据集中缺失的物体，相较当前方法平均降低Chamfer损失50%。项目页面：https://sds-complete.github.io/
引用
@article{arxiv.2306.10533,
title = {Point-Cloud Completion with Pretrained Text-to-image Diffusion Models},
author = {Yoni Kasten and Ohad Rahamim and Gal Chechik},
journal= {arXiv preprint arXiv:2306.10533},
year = {2023}
}