实例神经辐射场

本文提出了首批基于学习的NeRF 3D实例分割流程之一，称为实例神经辐射场(Instance Neural Radiance Field)，或Instance NeRF。以从多视角RGB图像预训练的NeRF作为输入，Instance NeRF可学习给定场景的3D实例分割，表示为NeRF模型的实例场分量。为此，我们在从NeRF采样的体积特征上采用基于3D提议的掩码预测网络，生成离散的3D实例掩码。粗粒度3D掩码预测随后被投影到图像空间，以匹配由现有全景分割模型生成的不同视角的2D分割掩码，这些掩码用于监督实例场的训练。值得注意的是，除了从新视角生成一致的2D分割图外，Instance NeRF可在任意3D点查询实例信息，极大增强了NeRF对象分割与操纵。我们的方法也是首批在纯推理中实现此类结果的方法之一。在具有复杂室内场景的合成与真实世界NeRF数据集上实验，Instance NeRF在未见视角的分割性能上超越了先前NeRF分割工作及有竞争力的2D分割方法。演示视频见https://youtu.be/wW9Bme73coI。代码与数据见https://github.com/lyclyc52/Instance_NeRF。