面向大型多样数据集中退化图像的高分辨率 GAN 反演
计算机视觉与模式识别
2023-02-08 v1
摘要
近几十年以来图像数据海量且多样，其分辨率和质量日益提高。然而，我们获取的某些图像可能已损坏，影响了感知与下游任务的应用。亟需一种从退化图像生成高质量图像的通用方法。本文提出一种新颖的 GAN 反演框架，利用 StyleGAN-XL 的强大生成能力解决该问题。为缓解 StyleGAN-XL 的反演难度，我们提出聚类与正则化反演（CRI）。具体而言，首先通过聚类将潜空间划分为更细粒度的子空间。不同于用平均潜向量初始化反演，我们从聚类近似出一个质心潜向量，其生成的图像接近输入图像。然后，引入带正则项的偏移以将反演潜向量保持在特定范围内。我们在复杂自然图像的多个修复任务（即修复、上色和超分辨率）上验证了 CRI 方案，并展示了更优的定量与定性结果。我们进一步证明该技术对数据和不同 GAN 模型均具有鲁棒性。据我们所知，我们首次采用 StyleGAN-XL 从多样的退化输入生成高质量自然图像。代码见 https://github.com/Booooooooooo/CRI。
引用
@article{arxiv.2302.03406,
title = {High-Resolution GAN Inversion for Degraded Images in Large Diverse Datasets},
author = {Yanbo Wang and Chuming Lin and Donghao Luo and Ying Tai and Zhizhong Zhang and Yuan Xie},
journal= {arXiv preprint arXiv:2302.03406},
year = {2023}
}
备注
Accepted by AAAI2023