烘焙可重光照 NeRF 以实现实时直接/间接光照渲染

重照明在给定光照条件（训练时未见）下合成新视角，是沉浸式照片级真实体验的必备特性。然而，由于渲染方程的高计算成本，实时重照明极具挑战性，该方程需要形状与材质分解以及可见性测试来建模阴影。此外，对于间接光照，需要在每个次级表面点（发生反射处）对渲染方程进行额外计算，这使得实时重照明更具挑战性。我们提出了一种新方法，该方法执行 CNN 渲染器来计算直接光照所需的初级表面点和渲染参数。我们还提出了一种用于间接光照的轻量级基于哈希网格的渲染器，该渲染器递归执行以完成次级光线追踪过程。两个渲染器均通过从预训练教师模型中蒸馏进行训练，能够在未见光照条件下以可忽略的渲染质量损失提供实时基于物理的渲染。