用于野外盲脸复原的GAN先验嵌入网络
计算机视觉与模式识别
2021-05-14 v1
摘要
从野外严重退化的 face 图像进行盲脸复原(BFR)是一个非常具有挑战性的问题。由于该问题的高度病态性以及复杂未知的退化，直接训练深度神经网络(DNN)通常无法得到可接受的结果。现有的基于生成对抗网络(GAN)的方法能产生较好结果，但倾向于生成过度平滑的复原图。在本工作中，我们提出一种新方法：首先学习一个用于高质量人脸图像生成的GAN，并将其作为先验解码器嵌入U形DNN中，然后使用一组合成的低质量人脸图像微调该GAN先验嵌入DNN。GAN模块被设计为确保输入GAN的潜码和噪声可分别由DNN的深层和浅层特征生成，从而控制重建图像的全局人脸结构、局部人脸细节和背景。所提出的GAN先验嵌入网络(GPEN)易于实现，且能生成视觉上照片真实感的结果。我们的实验表明，所提GPEN在定量和定性上均显著优于最先进的BFR方法，尤其是对于野外严重退化人脸图像的复原。源代码与模型可在 https://github.com/yangxy/GPEN 找到。
引用
@article{arxiv.2105.06070,
title = {GAN Prior Embedded Network for Blind Face Restoration in the Wild},
author = {Tao Yang and Peiran Ren and Xuansong Xie and Lei Zhang},
journal= {arXiv preprint arXiv:2105.06070},
year = {2021}
}