基于物理渲染的雨天鲁棒性增强方法
计算机视觉与模式识别
2019-08-28 v1 图形学
机器学习
图像与视频处理
摘要
为提升对雨天的鲁棒性，我们提出了一种基于物理的雨景渲染流程，用于将雨真实地合成到晴朗天气图像中。我们的渲染依赖于物理粒子模拟器、场景光照估计以及精确的雨光度建模，从而以任意强度的真实雨或雾增强图像。我们通过用户研究验证了渲染效果，证明我们的雨比最先进方法真实感高出40%。利用生成的天气增强Kitti和Cityscapes数据集，我们对深度目标检测与语义分割算法进行了全面评估，结果表明在退化天气下其性能下降，目标检测约降15%，语义分割约降60%。此外，我们用增强图像精炼现有网络，提升了目标检测与语义分割算法的鲁棒性。我们在nuScenes上实验，相较原始雨天性能，目标检测提升15%，语义分割提升35%。增强数据库与代码已在项目页面提供。
引用
@article{arxiv.1908.10335,
title = {Physics-Based Rendering for Improving Robustness to Rain},
author = {Shirsendu Sukanta Halder and Jean-François Lalonde and Raoul de Charette},
journal= {arXiv preprint arXiv:1908.10335},
year = {2019}
}
备注
ICCV 2019. Supplementary pdf / videos available on project page