ScribbleLight：单张室内图像的草图引导 relighting
计算机视觉与模式识别
2024-11-27 v1
摘要
基于图像的室内空间 relighting 可创造沉浸式的空间理解，这对于室内设计、虚拟陈列和房地产等领域非常有用。从单张图像进行室内空间 relighting 尤其具有挑战性，因为涉及多个灯光和杂乱物体之间复杂的光照相互作用，这些物体在几何和材料复杂性方面具有很大的差异。最近，生成模型被成功应用于图像-based relighting，条件为目标图像或潜在代码，但缺乏对局部 lighting 的详细控制。本文我们引入 ScribbleLight，一种通过描述 lighting 变化的草图来支持局部精细控制 lighting 效果的生成模型。我们的关键技术新颖性在于一个以 Albedo 为条件的 Stable Image Diffusion 模型，能够在 relighting 后保留原图像的固有颜色和纹理，以及一个基于 encoder-decoder 的 ControlNet 架构，能够通过法线图和草图注释实现几何保持的 lighting 效果。我们展示了 ScribbleLight 从稀疏草图注释创建不同 lighting 效果（例如关闭灯光、添加高光、产生阴影，或来自看不见的灯光的间接 lighting）的能力。
引用
@article{arxiv.2411.17696,
title = {ScribbleLight: Single Image Indoor Relighting with Scribbles},
author = {Jun Myeong Choi and Annie Wang and Pieter Peers and Anand Bhattad and Roni Sengupta},
journal= {arXiv preprint arXiv:2411.17696},
year = {2024}
}