GLEAN：用于图像超分辨率及更广任务的生成式潜码库
摘要
我们展示预训练的生成对抗网络（GAN），如 StyleGAN 与 BigGAN，可用作潜码库以提升图像超分辨率性能。尽管多数现有感知导向方法试图通过对抗损失学习生成逼真输出，我们的方法 Generative LatEnt bANk（GLEAN）超越现有做法，直接利用预训练 GAN 中封装的丰富多样先验。但与盛行的 GAN 反演方法在运行时需要昂贵的图像特定优化不同，我们的方法仅需单次前向传播即可复原。GLEAN 可轻松嵌入带多分辨率跳跃连接的简单编码器—库—解码器架构。采用不同生成模型的先验使 GLEAN 可应用于多样类别（例如人脸、猫、建筑与汽车）。我们进一步提出 GLEAN 的轻量版 LightGLEAN，仅保留其中的关键组件。值得注意的是，LightGLEAN 仅含 21% 的参数与 35% 的 FLOPs，却取得可比的图像质量。我们将方法扩展至不同任务，包括图像上色与盲图像复原，大量实验表明我们提出的模型相较现有方法表现更优。代码与模型见 https://github.com/open-mmlab/mmediting。
引用
@article{arxiv.2207.14812,
title = {GLEAN: Generative Latent Bank for Image Super-Resolution and Beyond},
author = {Kelvin C. K. Chan and Xiangyu Xu and Xintao Wang and Jinwei Gu and Chen Change Loy},
journal= {arXiv preprint arXiv:2207.14812},
year = {2022}
}
备注
Accepted to TPAMI. Extension of our CVPR 2021 version: https://openaccess.thecvf.com/content/CVPR2021/html/Chan_GLEAN_Generative_Latent_Bank_for_Large-Factor_Image_Super-Resolution_CVPR_2021_paper.html?ref=https://githubhelp.com. arXiv admin note: text overlap with arXiv:2012.00739