Mesh2NeRF：用于神经辐射场表示与生成的直接网格监督

我们提出了 Mesh2NeRF，一种从带纹理网格中导出真值辐射场以用于 3D 生成任务的方法。许多 3D 生成方法将 3D 场景表示为辐射场进行训练。其真值辐射场通常由大规模合成 3D 数据集的多视角渲染拟合而成，由于遮挡或欠拟合问题，这往往会导致伪影。在 Mesh2NeRF 中，我们提出了一种解析方法，直接从 3D 网格获取真值辐射场，通过具有定义表面厚度的占据函数来表征密度场，并通过考虑网格和环境光照的反射函数来确定视角相关颜色。Mesh2NeRF 提取准确的辐射场，为训练生成式 NeRF 和单场景表示提供直接监督。我们在各种任务中验证了 Mesh2NeRF 的有效性，在 ABO 数据集的单场景表示视图合成中取得了 3.12dB 的 PSNR 提升，在 ShapeNet Cars 的单视角条件生成中实现了 0.69 的 PSNR 增益，并在 Objaverse Mugs 的无条件生成中显著改善了从 NeRF 中提取网格的效果。