相位可控的照明重绘

我们提出一种自监督方法，用于实现对野外图像的可控、基于物理的照明重绘。我们通过将传统渲染的物理精度与神经渲染实现的照片级真实感相结合来实现这一目标。我们的方法通过推断几何和内在成分的单目估计来构建场景的彩色网格表示。这一表示允许用户以三维方式定义其期望照明配置。然后，可使用路径追踪引擎渲染新 Lighting 下的场景。我们将这一近似渲染结果输入到前馈神经渲染器中，以预测最终的照片级重绘结果。我们开发了可微分的渲染过程，以重建野外场景的照明，使我们的神经渲染器能在原始图像集合上进行自监督训练。我们的方法在将典型3D计算机图形工具（如 Blender）中可用的对灯光的显式物理控制带入野外重绘方面取得了重要进展。