StyleGAN 诱导的数据驱动正则化用于反问题
计算机视觉与模式识别
2021-10-11 v1 图像与视频处理
摘要
生成对抗网络（GAN）的最新进展开启了生成此前无法制作的高分辨率照片级真实图像的可能性。GAN 从高维分布中采样的能力自然促使研究者利用其威力为反问题中的图像先验建模。我们扩展了这一研究方向，开发了一个贝叶斯图像重建框架，该框架利用当前主导 GAN 架构的预训练 StyleGAN2 生成器的全部潜力来构建底层图像的先验分布。我们提出的方法称为基于生成模型的学习贝叶斯重建（L-BRGM），它对风格码和输入潜码进行联合优化，并通过允许不同生成器层具有不同的风格码来增强预训练 StyleGAN2 生成器的表达能力。考虑图像修复与超分辨率的反问题，我们证明了所提方法与最先进的基于 GAN 的图像重建方法具有竞争力，且有时更优。
引用
@article{arxiv.2110.03814,
title = {StyleGAN-induced data-driven regularization for inverse problems},
author = {Arthur Conmy and Subhadip Mukherjee and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2110.03814},
year = {2021}
}
备注
Submitted to IEEE ICASSP 2022. Under review