用于图像复原的基于动态可控残差学习的交互式多维调制
图像与视频处理
2020-09-23 v2 计算机视觉与模式识别
摘要
交互式图像复原旨在通过调整决定复原程度的控制系数来生成复原图像。先前的工作局限于用单一系数调制图像。然而，真实图像总是包含多种退化类型，无法由单一系数良好确定。为向前推进一步，本文提出一种新的问题设定，称为多维(MD)调制，旨在跨多种退化类型与程度调制输出效果。相较于先前的单维(SD)调制，MD设定用于自适应处理多种退化并缓解不同退化间的不平衡学习问题。我们还提出了一种深度架构——CResMD，其新引入可控残差连接用于多维调制。具体而言，我们在常规残差连接上添加控制变量以允许输入与残差的加权和。这些权重值由另一个条件网络生成。我们进一步提出基于beta分布的新数据采样策略以平衡不同退化类型与程度。以退化图像与退化信息为输入，网络可输出相应的复原图像。通过在测试时调节条件向量，用户可在MD空间中控制输出效果。大量实验表明，所提出的CResMD在SD与MD调制任务上均取得了优异性能。代码见 https://github.com/hejingwenhejingwen/CResMD。
引用
@article{arxiv.1912.05293,
title = {Interactive Multi-Dimension Modulation with Dynamic Controllable Residual Learning for Image Restoration},
author = {Jingwen He and Chao Dong and Yu Qiao},
journal= {arXiv preprint arXiv:1912.05293},
year = {2020}
}
备注
ECCV 2020