LucidDreamer：无域限制的 3D Gaussian Splatting 场景生成
计算机视觉与模式识别
2023-11-27 v2
摘要
随着 VR 设备与内容的广泛使用，对 3D 场景生成技术的需求日益普及。然而，现有的 3D 场景生成模型由于使用远离真实世界的 3D 扫描数据集的训练策略，将目标场景局限于特定领域。为突破此限制，我们提出 LucidDreamer，一种通过充分利用现有大规模基于扩散的生成模型能力实现的无域限制场景生成流水线。我们的 LucidDreamer 包含两个交替步骤：Dreaming 与 Alignment。首先，为从输入生成多视图一致的图像，我们将点云设为每张图像生成的几何指引。具体而言，我们将部分点云投影至期望视角，并将该投影作为使用生成模型进行修复的指引。修复后的图像通过估计的深度图提升回 3D 空间，构成新的点。其次，为将新点聚合进 3D 场景，我们提出一种对齐算法，和谐地整合新生成的 3D 场景各部分。最终获得的 3D 场景作为优化 Gaussian splats 的初始点。与先前 3D 场景生成方法相比，LucidDreamer 生成的 Gaussian splats 细节高度丰富，且对目标场景的领域无任何约束。项目页面：https://luciddreamer-cvlab.github.io/
引用
@article{arxiv.2311.13384,
title = {LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes},
author = {Jaeyoung Chung and Suyoung Lee and Hyeongjin Nam and Jaerin Lee and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2311.13384},
year = {2023}
}
备注
Project page: https://luciddreamer-cvlab.github.io/