基于逆图像渲染的单张图像灯光场生成

已证明灯光场从规则网格上的多个视图图像上计算具有利于场景表示的好处，并支持对新视角和摄影效果（如后期复焦和浅景深）的逼真渲染。尽管灯光流计算有效，但获取灯光场需要计算成本或专业设备，如笨重的相机设置和专用微透镜阵列。在力求拓宽其利益和适用性方面，本文提出了一种从单张图像生成灯光场的新颖视图合成方法，称为逆图像渲染。不同于之前试图隐式重建 3D 几何或显式表示客观场景的尝试，我们的方法从图像像素中在空间中重建灯光流，行为方式与图像渲染相反。为实现这一点，我们设计了一个神经渲染管道，用于渲染任意视角的目标光线。我们的神经渲染器首先存储来自输入图像的源光线的灯光流，然后通过跨注意力计算它们之间的关系，最后基于这些关系预测目标光线的颜色。在渲染管道从单一输入图像生成第一个新视角后，生成的超出视图内容被更新为源光线的集合。该程序在确保被遮挡内容一致生成的同时，迭代执行。我们演示，逆图像渲染在各类具有挑战性的数据集上都表现良好，这些数据集无需在合成数据集上进行任何重新训练或微调，后于相关的提升方法实现了突破性的新视图合成性能。