学习渲染：面向自动驾驶仿真的逼真且可控的极端雨天图像合成
计算机视觉与模式识别
2025-08-01 v2
摘要
自动驾驶仿真器为评估或提升视觉感知模型提供了有效且低成本的替代方案。然而，评估的可靠性取决于生成场景的多样性和真实性。极端天气条件，特别是极端雨fall，发生在现实世界中稀少且昂贵。虽然仿真环境可以解决这一限制，但现有的雨天图像合成器常常在照明可控性和真实性方面存在不足，这显著削弱了模型评估的效果。为此，我们提出一种基于学习的雨天图像合成器，将渲染方法的真实性与学习方法的可控性相结合。为验证我们极端雨天图像合成器在语义分割任务中的有效性，我们需要一组连续且准确标注的极端雨天图像。通过将所需合成器集成到CARLA驾驶仿真器中，我们开发了CARLARain——一个可获取复杂照明条件下成对雨天干净图像及标签的极端雨天街道场景仿真器。定性和定量实验表明，CARLARain能够有效提升极端雨天场景下语义分割模型的准确率，在合成数据集上的模型准确率(mIoU)提高5%-8%，并在复杂照明下的真实极端雨天场景中显著提升。我们的源代码和数据集已公开于https://github.com/kb824999404/CARLARain/。
引用
@article{arxiv.2502.16421,
title = {Learning from Rendering: Realistic and Controllable Extreme Rainy Image Synthesis for Autonomous Driving Simulation},
author = {Kaibin Zhou and Kaifeng Huang and Hao Deng and Zelin Tao and Ziniu Liu and Lin Zhang and Shengjie Zhao},
journal= {arXiv preprint arXiv:2502.16421},
year = {2025}
}