DiffS-NOCS：基于扩散模型将草图着色到 NOCS 图实现 3D 点云重建
计算机视觉与模式识别
2025-08-26 v2
摘要
从给定条件草图重建 3D 点云具有挑战性。现有方法通常直接在 3D 空间中工作，但领域变异性和从 2D 草图重建精确 3D 结构仍是显著障碍。此外，理想模型还应接受控制提示，除了稀疏草图之外，这在多模态融合中提出了挑战。我们提出 DiffS-NOCS (基于扩散模型的草图到 NOCS 图)，该方法利用 ControlNet 结合修改后的多视图解码器，从草图生成包含嵌入 3D 结构和位置信息的 2D 空间 NOCS 图。通过组合来自不同视图的多个 NOCS 图来重建 3D 点云。为增强草图理解，我们集成了视角编码器用于提取视角特征。此外，我们设计了特征级多视图聚合网络作为去噪模块，促进跨视图信息交换并提高 NOCS 图生成中的 3D 一致性。在 ShapeNet 上进行的实验表明，DiffS-NOCS 实现了与草图对齐的可控且精细的点云重建。
引用
@article{arxiv.2506.12835,
title = {DiffS-NOCS: 3D Point Cloud Reconstruction through Coloring Sketches to NOCS Maps Using Diffusion Models},
author = {Di Kong and Qianhui Wan},
journal= {arXiv preprint arXiv:2506.12835},
year = {2025}
}