Neural Gaffer：通过扩散进行任意物体的光照重建

单图像光照重建是一个具有挑战性的任务，涉及到关于几何、材料和光照之间复杂相互作用的推理。许多先前的方法仅支持特定类别的图像，如肖像，或需要特殊的捕获条件，如使用手电筒。或者，一些方法显式地将场景分解为固有组件，如法线和BRDF，这些组件可能不准确或不够表现。本文中，我们提出了一种新颖的端到端2D光照扩散模型，称为Neural Gaffer，它接受任意对象的单张图像，可在任何新的环境光照条件下合成准确的、高质量的重照明图像，只需通过对图像生成器进行条件控制即可，无需显式场景分解。我们的模型建立在预训练的扩散模型之上，对用于光照重建的合成数据集进行精细调谋，揭示并利用扩散模型中内在的光照理解。我们在合成数据和野外互联网图像上评估我们的模型，展示其在泛化性和准确性方面的优势。此外，通过与其他生成方法结合，我们的模型使许多下游2D任务成为可能，如基于文本的光照重建和物体插入。我们的模型也可作为3D任务的强大的光照先验，例如对辐射场进行光照重建。