PointDreamer：从带颜色的点云实现零样本三维纹理网格重建
计算机视觉与模式识别
2025-08-13 v3
摘要
忠实重建带纹理的网格对许多应用至关重要。相较于文本或图像模态，利用3D彩色点云作为输入（彩色-PC到网格）在全方位准确地复制目标物体360度特征方面具有内在优势。虽然大多数现有彩色-PC到网格方法都 suffer于纹理模糊或需要难以获取的3D训练数据，但我们提出了PointDreamer——一种 novel 框架，利用2D扩散先验实现卓越的纹理质量。关键在于，与大多数以文本或图像输入驱动的2D扩散-for-3D工作不同，PointDreamer 通过 novel 投影-填充-投影管线成功地将2D扩散模型适用于3D点云数据。具体而言，它首先将点云投影到稀疏2D图像上，然后进行基于扩散的填充。随后，与大多数现有3D重建或生成方法在3D/UV空间中预测纹理从而常导致纹理模糊不同，PointDreamer 通过直接将填充后的2D图像投影回3D网格，实现了高质量纹理。此外，我们首次发现一种在遮挡边界上出现的典型投影伪影，这种伪影在其他多视图图像到3D管线中常见但鲜有探讨。为此，我们提出了一种名为Non-Border-First（NBF）投影策略的 novel 解决方案。对各种合成数据集和真实扫描数据集进行的大量定性和定量实验表明，PointDreamer虽为零样本，却展现出超越SOTA的性能（LPIPS分数从0.118提升至0.068，提升30%），且对噪声、稀疏或甚至不完整的输入数据具有很强鲁棒性。代码地址：https://github.com/YuQiao0303/PointDreamer。
引用
@article{arxiv.2406.15811,
title = {PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud},
author = {Qiao Yu and Xianzhi Li and Yuan Tang and Xu Han and Jinfeng Xu and Long Hu and Min Chen},
journal= {arXiv preprint arXiv:2406.15811},
year = {2025}
}