中文

暴雨图像复原:融合物理模型与条件对抗学习

计算机视觉与模式识别 2019-04-11 v1

摘要

大多数去雨工作聚焦于去除雨纹,但无法妥善处理暴雨图像。在暴雨中,雨纹极为明显,密集的雨水累积或雨幕效应会显著冲淡图像,更远的场景相对更为模糊等。本文提出一种新颖方法来解决这些问题。我们提出一个两阶段网络:基于物理的骨干网络,随后是深度引导的 GAN 精炼。第一阶段依据底层物理估计雨纹、透射率与大气光。为了更可靠地分离这些分量,采用引导滤波框架将图像分解为其低频与高频分量。该滤波由无雨残差图像引导——其内容用于以空间变化的方式为两个通道设定通带,从而使背景细节不与雨纹相混。第二阶段即精炼阶段,我们提出一个深度引导的 GAN,以恢复第一阶段未能提取的背景细节,并修正该阶段引入的伪影。我们已将所提方法与最先进的方法进行了评估。大量实验表明,在真实雨图数据上我们的方法优于它们,能恢复出具有良好细节的视觉干净图像。

关键词

引用

@article{arxiv.1904.05050,
  title  = {Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning},
  author = {Ruotent Li and Loong Fah Cheong and Robby T. Tan},
  journal= {arXiv preprint arXiv:1904.05050},
  year   = {2019}
}

备注

CVPR19