从雨生成到雨去除
计算机视觉与模式识别
2020-12-07 v2
摘要
对于单幅图像去雨（SIRR）任务，基于深度学习（DL）的方法性能主要受所设计的去雨模型与训练数据集影响。当前大多数最优方法集中于构建强大的深度模型以获得更好的去雨结果。本文中，为进一步提升去雨性能，我们新颖地尝试从训练数据集的角度处理 SIRR 任务，通过探索一种更高效的合成雨图方式。具体而言，我们为雨图建立全贝叶斯生成模型，其中雨层被参数化为一个生成器，其输入为表示物理结构雨因素（如方向、尺度和厚度）的潜变量。为求解该模型，我们采用变分推断框架以数据驱动方式近似雨图的期望统计分布。借助所学生成器，我们能自动且充分地生成多样且不重复的训练对，从而高效丰富和增强现有基准数据集。用户研究从定性与定量上评估了生成雨图的真实感。综合实验证实，所提模型能忠实提取复杂雨分布，不仅显著提升了当前深度单幅图像去雨器的去雨性能，还大幅放宽了 SIRR 任务对大量训练样本预收集的要求。
引用
@article{arxiv.2008.03580,
title = {From Rain Generation to Rain Removal},
author = {Hong Wang and Zongsheng Yue and Qi Xie and Qian Zhao and Yefeng Zheng and Deyu Meng},
journal= {arXiv preprint arXiv:2008.03580},
year = {2020}
}