SparseGNV：基于稀疏输入视图的室内场景新视角生成

我们研究在给定稀疏输入视图的情况下生成室内场景的新视角。其挑战在于同时实现真实感与视角一致性。我们提出 SparseGNV：一个融合 3D 结构与图像生成模型、通过三个模块生成新视角的学习框架。第一个模块构建神经点云作为底层几何，为目标新视角提供上下文信息与引导。第二个模块利用基于 transformer 的网络将场景上下文与引导映射到共享潜空间，并以离散图像令牌的形式自回归解码目标视角。第三个模块将令牌重建为目标视角的图像。SparseGNV 在大型室内场景数据集上训练以学习可泛化的先验。一旦训练完成，它便能以前馈方式高效生成未见室内场景的新视角。我们在真实与合成室内场景上评估 SparseGNV，并证明它优于基于神经辐射场或条件图像生成的当前最优方法。