Points-to-3D: 基于点云先验的结构感知3D生成
计算机视觉与模式识别
2026-04-01 v3 人工智能
摘要
近期的3D生成进展主要依赖于图像或文本条件化，而 readily available 的3D先验仍未得到充分利用。在许多实际场景中，可见区域的点云容易从主动传感器如LiDAR或从feed-forward预测器如VGGT获取，提供了显式的几何约束，而当前方法尚未加以利用。本文引入Points-to-3D，一个基于扩散模型的框架，利用点云先验进行几何可控的3D资产和场景生成。基于潜在3D扩散模型TRELLIS构建，Points-to-3D首先将纯噪声稀疏结构潜初始化替换为量身定制的点云先验输入格式。随后，在TRELLIS框架内训练的结构填充网络用于学习全局结构填充，在特定数据上进行推断，并采用分阶段抽样策略（结构填充后边界细化），在保持输入先验可见区域的同时完成全局几何。实际中，Points-to-3D可以接受准确的点云先验或来自单张图像的VGGT估计点云作为输入。在对象和场景情形的实验中，持续显示在渲染质量和几何保真度方面优于最新基准，凸显了显式嵌入点云先验以实现更准确和结构可控3D生成的有效性。项目页面: https://jiatongxia.github.io/points2-3D/
引用
@article{arxiv.2603.18782,
title = {Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors},
author = {Jiatong Xia and Zicheng Duan and Anton van den Hengel and Lingqiao Liu},
journal= {arXiv preprint arXiv:2603.18782},
year = {2026}
}
备注
Accepted by CVPR 2026