DiffusionLight：通过绘制铬球免费获得光探针
计算机视觉与模式识别
2024-04-10 v3 图形学
机器学习
摘要
我们提出了一种简单而有效的技术来估计单张输入图像中的光照。当前技术严重依赖HDR全景数据集来训练神经网络，将有限视场的输入回归到完整的环境贴图。然而，由于数据集的多样性和规模有限，这些方法通常难以处理真实世界的无约束场景。为了解决这个问题，我们利用在数十亿张标准图像上训练的扩散模型将铬球渲染到输入图像中。尽管简单，但这个任务仍然具有挑战性：扩散模型经常插入不正确或不一致的物体，并且不能轻易生成HDR格式的图像。我们的研究揭示了铬球外观与初始扩散噪声图之间的惊人关系，我们利用这种关系一致地生成高质量的铬球。我们进一步使用LoRA微调了一个LDR扩散模型（Stable Diffusion XL），使其能够进行曝光包围以进行HDR光照估计。我们的方法在各种设置下产生了令人信服的光照估计，并展示了对野外场景的卓越泛化能力。
引用
@article{arxiv.2312.09168,
title = {DiffusionLight: Light Probes for Free by Painting a Chrome Ball},
author = {Pakkapon Phongthawee and Worameth Chinchuthakun and Nontaphat Sinsunthithet and Amit Raj and Varun Jampani and Pramook Khungurn and Supasorn Suwajanakorn},
journal= {arXiv preprint arXiv:2312.09168},
year = {2024}
}
备注
CVPR 2024 Oral. For more information and code, please visit our website https://diffusionlight.github.io/