深度掩蔽生成网络：从叠加图像恢复背景的统一框架
计算机视觉与模式识别
2021-05-17 v2
摘要
从含有噪声层的叠加图像中恢复干净背景，是图像反射去除、图像去雨与图像去雾等一类经典图像恢复任务的共通难点。由于图像内噪声层外观模式的多样与复杂，这些任务通常被分别建模与处理。本文提出深度掩蔽生成网络（DMGN），这是一种从叠加图像恢复背景的统一框架，能够处理不同类型噪声。我们提出的 DMGN 遵循由粗到细的生成过程：首先并行生成粗背景图像与噪声图像，随后进一步利用噪声图像细化背景图像以获得更高质量的背景图像。特别地，我们设计了新颖的残差深度掩蔽单元作为 DMGN 的核心操作单元，通过学习门控掩蔽控制信息流，在图像生成过程中增强有效信息并抑制负面信息。通过迭代使用该残差深度掩蔽单元，我们所提 DMGN 能够逐步生成高质量背景图像与噪声图像。此外，我们提出双管齐下的策略，有效利用生成的噪声图像作为对比线索以促进背景图像的细化。在图像背景恢复的三个典型任务（包括图像反射去除、图像雨痕去除与图像去雾）上的大量实验表明，我们的 DMGN 始终优于专为各单一任务设计的最先进方法。
引用
@article{arxiv.2010.04324,
title = {Deep-Masking Generative Network: A Unified Framework for Background Restoration from Superimposed Images},
author = {Xin Feng and Wenjie Pei and Zihui Jia and Fanglin Chen and David Zhang and Guangming Lu},
journal= {arXiv preprint arXiv:2010.04324},
year = {2021}
}
备注
16 pages, accepted for publication in IEEE Transactions on Image Processing (TIP)