学习统一分解与组合式 NeRF 以实现可编辑新视角合成

隐式神经表示在建模真实世界 3D 场景方面已展现出强大能力，在新视角合成中提供优越性能。在本文中，我们瞄准一个更具挑战性的场景，即基于隐式神经场景表示进行联合场景新视角合成与编辑。该方向的最先进方法通常考虑为这两个任务（即视角合成与编辑）构建分离的网络。因此，对这两个任务之间交互与关联性的建模非常有限，然而这对于学习高质量场景表示至关重要。为解决此问题，本文提出一个统一的神经辐射场（NeRF）框架，有效执行联合场景分解与组合以建模真实世界场景。分解旨在学习不同物体与背景的解耦 3D 表示，从而实现场景编辑，而场景组合为新颖视角合成建模整体场景表示。具体而言，借助两阶段 NeRF 框架，我们在粗阶段预测全局辐射场以引导点采样，并在第二阶段通过新颖的单热物体辐射场正则化模块以及通过修复的伪监督来处理被物体遮挡的模糊背景区域，从而进行场景分解。分解出的物体级辐射场进一步利用来自分解模块的激活进行组合。大量定量与定性结果表明了我们的方法在场景分解与组合上的有效性，在新视角合成与编辑任务上均优于最先进方法。