NiteDR：面向动态驾驶场景的跨视角传感器协同学习夜间图像去雨
计算机视觉与模式识别
2024-04-09 v2
摘要
在真实环境中，室外成像系统常受到雨降等干扰的影响。特别是在夜间驾驶场景中，光照不足且不均匀使场景笼罩在黑暗中，导致图像质量和可见度下降。在自动驾驶领域，RGB传感器的视觉感知能力在此类恶劣场景中急剧下降。此外，驾驶辅助系统在捕捉和辨别周围环境方面的能力减弱，对驾驶安全构成威胁。单模态传感器捕获的单视角信息无法全面描述整个场景。为应对这些挑战，我们开发了一个针对雨天夜间驾驶场景的图像去雨框架。它旨在去除雨痕、丰富场景表示并恢复有用信息。具体来说，我们引入了不同传感器捕获的可见光和红外图像之间的协同学习。通过跨视角融合这些多源数据，图像中的场景获得了更丰富的纹理细节和增强的对比度。我们构建了一个名为CleanNet的信息清理模块作为框架的第一阶段。此外，我们设计了一个名为FusionNet的信息融合模块作为第二阶段，用于融合干净的可见光图像与红外图像。通过这种逐阶段学习策略，我们获得了更高质量和更好视觉感知的去雨融合图像。大量实验证明了我们提出的跨视角协同学习（CVCL）在低光雨天恶劣驾驶场景中的有效性。所提出的方法填补了现有去雨算法在特定低光条件下应用的空白。
引用
@article{arxiv.2402.18172,
title = {NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes},
author = {Cidan Shi and Lihuang Fang and Han Wu and Xiaoyu Xian and Yukai Shi and Liang Lin},
journal= {arXiv preprint arXiv:2402.18172},
year = {2024}
}