双像素去雨滴
计算机视觉与模式识别
2022-10-25 v1
摘要
去除图像中的雨滴已成为各种计算机视觉应用的一项重要任务。在本文中，我们提出了首个使用双像素（DP）传感器以更好地解决雨滴去除问题的方法。我们的关键观察是，附着在玻璃窗上的雨滴在 DP 的左半图像和右半图像中产生显著视差，而对焦背景几乎不存在视差。因此，DP 视差可用于鲁棒的雨滴检测。DP 视差还具有如下优势：被雨滴遮挡的背景区域在左半图像与右半图像之间发生偏移。因此，融合左半与右半图像的信息可带来更准确的背景纹理恢复。基于上述动机，我们提出了一种 DP 雨滴去除网络（DPRRN），由 DP 雨滴检测与 DP 融合雨滴去除组成。为高效生成大量训练数据，我们还提出了一种将合成雨滴添加到真实世界背景 DP 图像的新流程。在合成与真实世界数据集上的实验结果表明，我们的 DPRRN 优于现有最先进方法，尤其在对真实世界场景的鲁棒性上表现更好。我们的源代码与数据集可在 http://www.ok.sc.e.titech.ac.jp/res/SIR/ 获取。
引用
@article{arxiv.2210.13321,
title = {Dual-Pixel Raindrop Removal},
author = {Yizhou Li and Yusuke Monno and Masatoshi Okutomi},
journal= {arXiv preprint arXiv:2210.13321},
year = {2022}
}
备注
Accepted by BMVC2022 (Oral)