SceneCompleter：用于生成式新视角合成的密集 3D 场景补全
计算机视觉与模式识别
2025-06-13 v1
摘要
生成模型通过减轻对密集多视角采集的依赖，在新视角合成（NVS）中获得了显著关注。然而，现有方法通常陷入一种传统范式，即生成模型首先在 2D 中补全缺失区域，随后利用 3D 恢复技术重建场景，这往往导致过度平滑的表面和扭曲的几何结构，因为生成模型难以仅从 RGB 数据推断 3D 结构。在本文中，我们提出了 SceneCompleter，一个通过密集 3D 场景补全实现 3D 一致性生成式新视角合成的新颖框架。SceneCompleter 通过两个关键组件实现了视觉连贯且 3D 一致的生成式场景补全：（1）一个几何-外观双流扩散模型，在 RGBD 空间中联合合成新视角；（2）一个场景嵌入器，从参考图像中编码更全局的场景理解。通过有效融合结构与纹理信息，我们的方法在多样化的数据集上展现出卓越的连贯性与生成式新视角合成的合理性。项目页面：https://chen-wl20.github.io/SceneCompleter
引用
@article{arxiv.2506.10981,
title = {SceneCompleter: Dense 3D Scene Completion for Generative Novel View Synthesis},
author = {Weiliang Chen and Jiayi Bi and Yuanhui Huang and Wenzhao Zheng and Yueqi Duan},
journal= {arXiv preprint arXiv:2506.10981},
year = {2025}
}