基于物理的生成对抗模型用于图像复原及更广泛应用
计算机视觉与模式识别
2020-03-31 v2
摘要
我们提出一种直接求解众多图像复原问题（例如图像去模糊、图像去雾、图像去雨等）的算法。这些问题高度不适定，现有方法的常见假设通常基于启发式图像先验。本文中，我们发现这些问题可通过带对抗学习的生成模型求解。然而，生成对抗网络（GANs）的基本形式不能生成逼真图像，且估计图像的某些结构通常不能很好保留。受一个有趣观察的启发——即估计结果在物理模型下应与观测输入一致——我们提出一种物理模型约束学习算法，使其能在常规 GAN 框架中指导特定任务的估计。所提算法以端到端方式训练，可应用于多种图像复原及相关底层视觉问题。大量实验表明，我们的方法优于当前最优（SOTA）算法。
引用
@article{arxiv.1808.00605,
title = {Physics-Based Generative Adversarial Models for Image Restoration and Beyond},
author = {Jinshan Pan and Jiangxin Dong and Yang Liu and Jiawei Zhang and Jimmy Ren and Jinhui Tang and Yu-Wing Tai and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:1808.00605},
year = {2020}
}
备注
IEEE TPAMI