M2GAN：一种用于自动驾驶车辆图像去雨的多阶段自注意力网络
计算机视觉与模式识别
2021-10-13 v1 图像与视频处理
摘要
图像去雨是自动驾驶车辆应用中的一个新的挑战性问题。在暴雨等恶劣天气条件下，雨滴主要撞击车辆挡风玻璃，即使雨刮器能清除部分雨滴，也会显著降低观测能力。此外，蔓延在挡风玻璃上的雨流会产生折射的物理效应，严重阻碍视线或破坏车辆配备的机器学习系统。本文提出一种新的多阶段多任务循环生成对抗网络（M2GAN）来处理雨滴撞击汽车挡风玻璃的挑战性问题。该方法也适用于去除玻璃窗或镜头上出现的雨滴。M2GAN是一种多阶段多任务生成对抗网络，可利用语义分割等先验高层信息来提升去雨性能。为验证M2GAN，我们引入了首个面向自动驾驶车辆去雨的真实世界数据集。实验结果表明，我们所提方法在量化指标和视觉质量方面优于其他最先进的去雨滴方法。M2GAN被认为是首个在无约束环境（如自动驾驶车辆）下处理真实世界降雨挑战性问题的方法。
引用
@article{arxiv.2110.06164,
title = {M2GAN: A Multi-Stage Self-Attention Network for Image Rain Removal on Autonomous Vehicles},
author = {Duc Manh Nguyen and Sang-Woong Lee},
journal= {arXiv preprint arXiv:2110.06164},
year = {2021}
}