IntrinsicWeather：本征空间中的可控天气编辑

我们提出了 IntrinsicWeather，一个基于扩散模型的框架，用于在本征空间中进行可控的天气编辑。我们的框架包含两个基于扩散先验的组件：一个逆向渲染器，从输入图像中估计材质属性、场景几何和光照作为本征图；以及一个正向渲染器，利用这些几何和材质图以及描述特定天气条件的文本提示来生成最终图像。与传统的像素空间编辑方法相比，本征图增强了可控性。我们提出了一种本征图感知注意力机制，以改善大型室外场景中的空间对应关系和分解质量。对于正向渲染，我们利用天气提示的 CLIP 空间插值来实现细粒度的天气控制。我们还引入了一个合成数据集和一个真实世界数据集，分别包含 38k 和 18k 张各种天气条件下的图像，每张图像都带有本征图标注。IntrinsicWeather 在性能上优于最先进的像素空间编辑方法、天气恢复方法和基于渲染的方法，显示出在下游任务（如自动驾驶）中增强在挑战性天气场景下检测和分割鲁棒性的潜力。