LightSwitch：基于材料引导的多视角 relighting

最近的 3D relighting 方法在集成 2D 图像 relighting 生成先验以改变 3D 表示外观的同时保持 underlying structure 方面取得了进展。然而，用于 2D relighting 的生成先验直接从输入图像进行 relighting，未能利用主体可推断的内在属性或在大规模数据中考虑多视角信息，导致 relighting 效果不佳。在本文中，我们提出 Lightswitch，一个 novel 微调材料 relighting diffusion 框架，有效地将任意数量的输入图像 relighting 到目标 lighting condition，同时融合来自推断内在属性的线索。通过将多视角和材料信息线索与可扩展去噪方案结合使用，我们的方法能够高效、一致地 relighting 具有多样化材料组成的物体的密集多视角数据。我们表明，2D relighting 预测质量优于以前的 state-of-the-art relighting 先验，这些先验直接从图像进行 relighting。我们进一步展示，LightSwitch 在 2 分钟内匹配或优于 state-of-the-art diffusion inverse rendering 方法，对合成和真实物体进行 relighting。