GS-Light：IC-Light的无训练多视角扩展用于文本位置感知场景重光照

我们提出了GS-Light，一个高效、文本位置感知的管道，用于基于高斯溅射（3DGS）表示的3D场景的文本引导重光照。GS-Light实现了单输入扩散模型的无训练扩展以处理多视角输入。给定一个可能指定光照方向、颜色、强度或参考物体的用户提示，我们利用大型视觉语言模型（LVLM）将提示解析为光照先验。利用现成的几何和语义估计器（深度、法线和语义分割），我们将这些光照先验与视角几何约束融合以计算光照图，并为每个视角生成初始隐变量编码。这些精心推导的初始隐变量引导扩散模型生成更准确反映用户期望的重光照输出，尤其是在光照方向方面。通过将多视角渲染图像与初始隐变量一起输入我们的多视角重光照模型，我们生成了高保真、艺术性重光照图像。最后，我们利用重光照外观对3DGS场景进行微调以获得完全重光照的3D场景。我们在室内和室外场景上评估了GS-Light，将其与包括逐视角重光照、视频重光照和场景编辑方法在内的最先进基线进行了比较。通过定量指标（多视角一致性、成像质量、美学评分、语义相似性等）和定性评估（用户研究），GS-Light相对于基线展示了持续改进。代码和资源将在出版时公开。