Panini-Net：基于 GAN 先验的退化感知特征插值用于人脸修复
计算机视觉与模式识别
2022-03-17 v1
摘要
新兴的高质量人脸修复（FR）方法常利用预训练的 GAN 模型（即 StyleGAN2）作为 GAN 先验。然而，这些方法在面对各种退化程度时往往难以平衡真实感与保真度。此外，与预训练的 GAN 模型相比仍存在明显的视觉质量差距。本文提出了一种新颖的基于 GAN 先验的退化感知特征插值网络，称为 Panini-Net，用于 FR 任务，通过显式学习抽象表示来区分各种退化。具体而言，首先开发了一种无监督退化表示学习（UDRL）策略来提取输入退化图像的退化表示（DR）。然后，提出了一种退化感知特征插值（DAFI）模块，基于 DR 动态融合两类信息特征（即来自输入图像的特征和来自 GAN 先验的特征），以灵活适应各种退化。消融研究揭示了 DAFI 的工作机制及其用于可编辑 FR 的潜力。大量实验表明，我们的 Panini-Net 在多退化人脸修复和人脸超分辨率方面取得了最先进性能。源代码可在 https://github.com/jianzhangcs/panini 获取。
引用
@article{arxiv.2203.08444,
title = {Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for Face Restoration},
author = {Yinhuai Wang and Yujie Hu and Jian Zhang},
journal= {arXiv preprint arXiv:2203.08444},
year = {2022}
}
备注
Accepted by AAAI2022