基于雨纹与雨雾重新思考单图像去雨
计算机视觉与模式识别
2020-08-04 v1 图形学
图像与视频处理
摘要
单图像去雨将输入图像视为背景图像、透射图、雨纹与大气光的融合。尽管已有先进模型用于图像复原（即背景图像生成），但它们将雨纹视为与背景具有相同属性而非传输介质。由于雨雾（即雨纹累积或雾状雨）通过透射图传达以建模遮蔽效应，雨纹与雨雾的融合并不能自然反映雨图像的形成过程。本工作中，我们将雨纹与雨雾一同重新表述为传输介质以建模降雨成像。我们提出一种名为 SNet 的编码器-解码器 CNN 来学习雨纹的透射图。由于雨纹呈现多种形状与方向，我们在 SNet 中使用 ShuffleNet 单元捕捉其各向异性表示。由于雨雾由雨纹带来，我们提出包含空间金字塔池化（SSP）的 VNet，基于雨纹透射图在多尺度上预测雨雾的透射图。同时，我们使用名为 ANet 的编码器 CNN 估计大气光。SNet、VNet 与 ANet 联合训练以预测透射图与大气光用于雨图像复原。在基准数据集上的大量实验证明了所提视觉模型预测雨纹与雨雾的有效性。所提去雨方法优于当前最优（SOTA）去雨方法。
引用
@article{arxiv.2008.00823,
title = {Rethinking Image Deraining via Rain Streaks and Vapors},
author = {Yinglong Wang and Yibing Song and Chao Ma and Bing Zeng},
journal= {arXiv preprint arXiv:2008.00823},
year = {2020}
}
备注
ECCV 2020