LumiNet：潜在特征融合扩散模型用于室内场景灯光传递
摘要
我们提出 LumiNet，一种新型架构，利用生成模型和潜在特征表示实现高效灯光传递。给定源图像和目标灯光图像，LumiNet 合成源场景的 relit 版本，捕获目标灯光。我们的方法包含两个关键贡献：一种来自 StyleGAN 基的 relighting 模型的数据 curated strategy，以及一种处理源图像潜在特征和目标图像潜在特征的修改版 diffusion-based ControlNet。我们进一步通过一个学习型适配器（MLP），通过 cross-attention 和 fine-tuning 将目标的潜在特征注入，从而提高灯光传递效果。与传统 ControlNet 仅处理单一场景的条件图不同，LumiNet 处理来自两个不同图像的潜在表示——保留来自源图像的几何和大气光，同时传递来自目标图像的灯光特征。实验表明，该方法成功地在具有不同空间布局和材料的场景中传递复杂灯光现象，包括镜面高光和间接照明，优于现有方法，仅使用图像即可应用于具有挑战性的室内场景。
关键词
引用
@article{arxiv.2412.00177,
title = {LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting},
author = {Xiaoyan Xing and Konrad Groh and Sezer Karaoglu and Theo Gevers and Anand Bhattad},
journal= {arXiv preprint arXiv:2412.00177},
year = {2025}
}
备注
Corrects an evaluation bug in Table 1 due to a data normalization error. Thanks to the Sony PlayStation team for discovering and reporting the issue. The paper's core contributions, qualitative results, and user study are unaffected. We also include a minor update to the method to further improve result quality. Project page: https://luminet-relight.github.io/