WildRelight：一个用于单图像重光照的真实世界基准与物理引导的域适应

近期，由先进生成模型驱动的单图像重光照方法在合成基准上取得了令人印象深刻的真实感。然而，它们在复杂的真实世界视觉景观中的有效性在很大程度上仍未得到验证。存在一个关键的差距，因为当前的数据集通常是为多视图重建设计的，未能解决单图像重光照的独特挑战。为了弥合这种从合成到真实的差距，我们引入了WildRelight，这是第一个专门为评估单图像重光照模型而创建的真实场景数据集。WildRelight包含多样化的高分辨率户外场景，这些场景在严格对齐、随时间变化的自然光照下捕获，每张图像都配有一个高动态范围环境贴图。利用这些数据，我们建立了一个严格的基准，揭示了在合成数据上训练的最先进模型遭受严重的域偏移。WildRelight严格对齐的时间结构为域适应提供了一种新范式。我们通过引入一个物理引导的推理框架来证明这一点，该框架利用捕获的自然光演化作为自监督约束。通过将扩散后验采样（DPS）与时间感知的测试时适应（TTA）相结合，我们表明该数据集允许合成模型实时地与真实世界统计数据对齐，将棘手的从模拟到现实的挑战转化为一个可处理的自监督任务。数据集和代码将公开提供，以促进鲁棒的、基于物理的重光照研究。