WeatherEdit：基于四维高斯场的可控天气编辑
计算机视觉与模式识别
2025-08-08 v3 人工智能
新兴技术
机器学习
机器人学
摘要
在这项工作中，我们提出了 WeatherEdit，一种用于在三维场景中生成具有可控类型和严重程度的真实天气效果的新型天气编辑流水线。我们的方法分为两个关键组件：天气背景编辑和天气粒子构建。对于天气背景编辑，我们引入了一个多合一适配器，将多种天气风格集成到一个预训练扩散模型中，从而能够在二维图像背景中生成多样的天气效果。在推理过程中，我们设计了一种时空（TV-）注意力机制，该机制按照特定顺序聚合时间和空间信息，确保跨多帧和多视图图像的一致编辑。为了构建天气粒子，我们首先使用编辑后的图像重建三维场景，然后引入动态四维高斯场在场景中生成雪花、雨滴和雾。这些粒子的属性和动力学通过基于物理的建模和模拟进行精确控制，确保了真实的天气表示和灵活的严重程度调整。最后，我们将四维高斯场与三维场景集成，以渲染一致且高度真实的天气效果。在多个驾驶数据集上的实验表明，WeatherEdit 能够生成具有可控条件严重程度的多样天气效果，凸显了其在恶劣天气下自动驾驶模拟的潜力。参见项目页面：https://jumponthemoon.github.io/w-edit
引用
@article{arxiv.2505.20471,
title = {WeatherEdit: Controllable Weather Editing with 4D Gaussian Field},
author = {Chenghao Qian and Wenjing Li and Yuhu Guo and Gustav Markkula},
journal= {arXiv preprint arXiv:2505.20471},
year = {2025}
}