利用可逆神经网络中双潜变量增强图像缩放
计算机视觉与模式识别
2022-07-26 v1 图像与视频处理
摘要
归一化流模型已通过可逆神经网络(INN)将自然图像的复杂分布近似为潜空间中简单可处理的分布,成功用于生成式图像超分辨率(SR)。这些模型可利用潜空间中随机采样点从一个低分辨率(LR)输入生成多个逼真的 SR 图像,模拟了图像上采样中多个高分辨率(HR)图像对应同一 LR 的适定性不良本质。近来,INN 中的可逆过程也被 IRN 和 HCFlow 等双向图像缩放模型成功用于下采样与逆上采样的联合优化,显著提升了上采样图像质量。尽管它们也对图像下采样进行了优化,但图像下采样的适定性不良本质——即一个 HR 图像可根据不同插值核与重采样方法下采样为多个 LR 图像——未被考虑。我们引入了一个新的下采样潜变量,连同原本表示图像上采样不确定性的潜变量,以建模图像下采样过程中的变化。这种双潜变量增强适用于不同的图像缩放模型,大量实验表明其能在不牺牲下采样 LR 图像质量的前提下持续提升图像上采样精度。其也被证明可有效增强其他基于 INN 的图像复原应用模型,如图像隐藏。
引用
@article{arxiv.2207.11844,
title = {Enhancing Image Rescaling using Dual Latent Variables in Invertible Neural Network},
author = {Min Zhang and Zhihong Pan and Xin Zhou and C. -C. Jay Kuo},
journal= {arXiv preprint arXiv:2207.11844},
year = {2022}
}
备注
Accepted by ACM Multimedia 2022