从单幅图像联合进行深度估计与混合雨移除
计算机视觉与模式识别
2023-04-03 v1
摘要
雨天天气会显著降低场景物体的可见性,尤其在通过室外相机镜头或挡风玻璃捕获图像时。通过对大量雨图的细致观察,我们发现图像通常受到各类雨水伪影的影响,如雨滴、雨纹和雨雾,它们从近处与远处影响图像质量,导致复杂且交织的图像退化过程。然而,当前的去雨技术仅能处理一种或两种雨水类型,难以应对混合雨(MOR)的去除。本研究提出一种有效的混合雨移除图像去雨范式,称为 DEMore-Net,其充分考虑了 MOR 效应。超越现有去雨思路,DEMore-Net 是一种联合学习范式,将深度估计与 MOR 去除任务相整合以实现更优去雨。深度信息可基于距离提供额外的有意义引导信息,从而更好地帮助 DEMore-Net 去除不同类型雨水。此外,本研究探讨了图像去雨任务中的归一化方法,并引入一种新的混合归一化块(HNB)以增强 DEMore-Net 的去雨性能。在合成数据集与真实世界 MOR 照片上的大量实验充分验证了所提 DEMore-Net 的优越性。代码见 https://github.com/yz-wang/DEMore-Net。
引用
@article{arxiv.2303.17766,
title = {Joint Depth Estimation and Mixture of Rain Removal From a Single Image},
author = {Yongzhen Wang and Xuefeng Yan and Yanbiao Niu and Lina Gong and Yanwen Guo and Mingqiang Wei},
journal= {arXiv preprint arXiv:2303.17766},
year = {2023}
}
备注
11 pages, 7 figures, 5 tables