AutoWeather4D:基于 G-Buffer 双 Pass 编辑的自动驾驶视频天气转换
计算机视觉与模式识别
2026-04-03 v3
摘要
生成式视频模型已显著推进了对自动驾驶中恶劣天气的照片级合成,但它们始终需要大量数据来学习稀有天气情景。虽然 3D aware 编辑方法通过增强现有视频素材来缓解数据瓶颈,但其本质上受限于昂贵的 per-scene optimization,并受制于几何和照明的内在耦合。本文引入 AutoWeather4D,一个面向显式解耦几何与照明的 feed-forward 3D aware 天气编辑框架。其核心是 G-Buffer 双 Pass 编辑机制。几何 Pass 利用显式结构基础,实现面积锚定的物理相互作用;光照 Pass 解析光传输,将局部照明器的贡献累积到全局照明中,从而实现动态 3D 局部重照明。广泛的实验表明,AutoWeather4D 在实现与生成式基线相当的照片级真实感和结构一致性方面取得了良好效果,同时实现了细粒度的参数化物理控制,作为自动驾驶的实用数据引擎。
引用
@article{arxiv.2603.26546,
title = {AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing},
author = {Tianyu Liu and Weitao Xiong and Kunming Luo and Manyuan Zhang and Peng Li and Yuan Liu and Ping Tan},
journal= {arXiv preprint arXiv:2603.26546},
year = {2026}
}
备注
Project Page: https://lty2226262.github.io/autoweather4d/ | Github: https://github.com/lty2226262/AutoWeather4D