面向真实场景单图像去雨：新基准及超越
计算机视觉与模式识别
2022-11-22 v2
摘要
真实场景下的单图像去雨（SID）近年来受到越来越多的关注。由于难以获取真实世界的雨天/干净图像对，已有的真实数据集存在图像分辨率低、雨纹同质、背景变化有限甚至图像对未对齐等问题，导致对 SID 方法的评估不够全面。为解决这些问题，我们建立了一个名为 RealRain-1k 的高质量新数据集，包含 对分别具有低密度和高密度雨纹的高分辨率干净与雨天图像对。RealRain-1k 中的图像通过一种简单而有效的雨密度可控滤波方法，从大量真实世界雨天视频片段中自动生成，具有高图像分辨率、背景多样性、雨纹多变性以及严格空间对齐的良好特性。RealRain-1k 还附带提供了丰富的雨纹层，使我们能够通过在大量自然图像上粘贴雨纹层来构建一个大规模合成数据集 SynRain-13k。基于它们及现有数据集，我们在三个赛道上对超过 10 种代表性 SID 方法进行了基准测试：（1）在 RealRain-1k 上的全监督学习，（2）到真实数据集的域泛化，以及（3）合成到真实的迁移学习。实验结果（1）展示了代表性方法在图像复原性能和模型复杂度上的差异，（2）验证了所提数据集对模型泛化的重要性，（3）提供了关于从多样域学习的优越性的有用见解，并为真实世界 SID 的未来研究指明了方向。数据集将于 https://github.com/hiker-lw/RealRain-1k 发布。
引用
@article{arxiv.2206.05514,
title = {Toward Real-world Single Image Deraining: A New Benchmark and Beyond},
author = {Wei Li and Qiming Zhang and Jing Zhang and Zhen Huang and Xinmei Tian and Dacheng Tao},
journal= {arXiv preprint arXiv:2206.05514},
year = {2022}
}