面向照片级真实感图像复原的交互式调制
计算机视觉与模式识别
2021-05-10 v1 图像与视频处理
摘要
调制图像复原程度旨在通过一个表示复原强度的因子来生成复原图像。以往工作主要聚焦于优化均方重建误差，这带来了较高的重建精度但缺乏更精细的纹理细节。本文提出一种可控 U-Net 生成对抗网络 (CUGAN)，用于在调制任务中生成高频纹理。CUGAN 由两个模块组成——基础网络与条件网络。基础网络包含一个生成器与一个判别器。在生成器中，我们通过调节 Unet 架构中来自不同尺度的不同特征的权重，实现复原程度的交互式控制。此外，我们根据退化严重程度对判别器中的中间特征进行自适应调制。条件网络接受条件向量（编码的退化信息）作为输入，随后为生成器和判别器生成调制参数。在测试期间，用户可通过调整条件向量来控制输出效果。我们还通过一种简单的过渡方法提供了 GAN 与 MSE 效果之间的平滑转换。大量实验表明，所提出的 CUGAN 在图像复原调制任务上取得了优异性能。
引用
@article{arxiv.2105.03085,
title = {Toward Interactive Modulation for Photo-Realistic Image Restoration},
author = {Haoming Cai and Jingwen He and Qiao Yu and Chao Dong},
journal= {arXiv preprint arXiv:2105.03085},
year = {2021}
}