NeRF-VAE：一种几何感知的 3D 场景生成模型

我们提出 NeRF-VAE，一种通过 NeRF 与可微体渲染引入几何结构的 3D 场景生成模型。与 NeRF 不同，我们的模型考虑了场景间的共享结构，并能够利用摊销推断推断新场景的结构——无需重新训练。NeRF-VAE 的显式 3D 渲染过程进一步区别于先前基于卷积渲染、缺乏几何结构的生成模型。我们的模型是一个 VAE，通过学习以潜场景表示为条件的辐射场分布来工作。我们表明，一旦训练完成，NeRF-VAE 能够利用极少的输入图像，从先前未见的 3D 环境中推断并渲染几何一致的场景。我们进一步证明，NeRF-VAE 对分布外相机具有良好的泛化能力，而卷积模型则不然。最后，我们引入并研究了一种基于注意力的 NeRF-VAE 解码器条件机制，其提升了模型性能。