SAIL:基于 Latent Diffusion Model 的真实图像自监督反照率估计

本征图像分解旨在将图像分离为其底层的反照率和着色分量,将基色与光照效果隔离,以实现虚拟重新照明和场景编辑等下游应用。尽管基于学习的方法不断兴起并取得成功,但由于缺乏带标签的真实数据,从真实图像中进行本征图像分解仍是一项极具挑战性的任务。大多数现有解决方案依赖合成数据进行监督设置,限制了其向真实场景的泛化能力。另一方面,自监督方法通常生成的反照率图包含反射,且在不同光照条件下缺乏一致性。为解决这一问题,我们提出了 SAIL,一种旨在从单视图真实图像中估计类反照率表示的方法。我们将 Latent Diffusion Model 用于无条件场景重新照明的先验知识作为反照率估计的代理目标。为了提取反照率,我们引入了一种完全在潜空间中表述的新型本征图像分解方法。为了指导 Latent Diffusion Model 的训练,我们引入了正则化项,以约束我们潜图像分解中依赖光照和不依赖光照的分量。SAIL 在不同光照条件下预测出稳定的反照率,并泛化至多种场景,仅使用在线可获取的无标签多光照数据。