全景神经场：一种语义物体感知的神经场景表示

我们提出全景神经场（PNF），一种物体感知的神经场景表示，将场景分解为一组物体（things）和背景（stuff）。每个物体由一个有向3D包围盒和一个多层感知机（MLP）表示，该MLP接收位置、方向和时间并输出密度与辐射度。背景stuff由类似的MLP表示，其额外输出语义标签。每个物体MLP是实例特定的，因此可比先前物体感知方法更小更快，同时仍利用通过元学习初始化融入的类别先验。我们的模型仅从彩色图像构建任意场景的全景辐射场表示。我们使用现成算法预测相机位姿、物体轨迹和2D图像语义分割。然后我们通过分析-合成，利用彩色图像的自监督和预测语义分割的伪监督联合优化MLP权重和包围盒参数。在对真实世界动态场景的实验中发现，我们的模型可有效用于新视角合成、2D全景分割、3D场景编辑和多视角深度预测等多项任务。