im2nerf：从自然场景图像到神经辐射场

我们提出 im2nerf，一种给定自然场景下单张输入图像即可预测连续神经物体表示的学习框架，仅由现成识别方法的分隔输出监督。构建神经辐射场的标准方法利用多视图一致性并需要场景的许多已标定视图，这一要求在学习大规模自然图像数据时无法满足。我们朝着弥补这一不足迈出一步，引入一种将输入图像编码为解耦物体表示的模型，该表示包含物体形状码、物体外观码以及拍摄该物体图像的估计相机位姿。我们的模型以预测的物体表示为条件驱动 NeRF，并利用体渲染从新视角生成图像。我们在大规模输入图像集合上端到端训练该模型。由于模型仅提供单视图图像，问题高度欠约束。因此，除对合成输入视图使用重建损失外，我们对新渲染视图使用辅助对抗损失。此外，我们利用物体对称性与循环相机位姿一致性。我们在 ShapeNet 数据集上进行了广泛的定量与定性实验，并在 Open Images 数据集上进行了定性实验。我们表明，在所有情况下，im2nerf 在自然场景下从单视图无位姿图像进行新视角合成均达到了最先进（state-of-the-art）性能。