用于盲脸复原的渐进语义感知风格变换
计算机视觉与模式识别
2021-03-23 v2
摘要
人脸复原在人脸图像处理中十分重要，近年来被广泛研究。然而，以往工作往往难以对真实世界低质量（LQ）人脸图像生成合理的高质量（HQ）结果。本文提出一种用于人脸复原的新的渐进语义感知风格变换框架，称为 PSFR-GAN。具体而言，与以往方法使用编码器-解码器框架不同，我们将 LQ 人脸图像的复原表述为通过语义感知风格变换的多尺度渐进复原过程。给定一对 LQ 人脸图像及其对应的解析图，我们首先生成输入的多尺度金字塔，然后以语义感知风格迁移的方式从粗到细渐进地调制不同尺度特征。与以往网络相比，所提出的 PSFR-GAN 充分利用了来自不同尺度输入对的语义（解析图）和像素（LQ 图像）空间信息。此外，我们进一步引入语义感知风格损失，对每个语义区域单独计算特征风格损失，以改善人脸纹理细节。最后，我们预训练了一个人脸解析网络，能够从真实世界 LQ 人脸图像生成不错的解析图。实验结果表明，使用合成数据训练的模型不仅能对合成 LQ 输入产生更真实的高分辨率结果，而且与 SOTA 方法相比对自然 LQ 人脸图像具有更好的泛化能力。代码见 https://github.com/chaofengc/PSFRGAN。
引用
@article{arxiv.2009.08709,
title = {Progressive Semantic-Aware Style Transformation for Blind Face Restoration},
author = {Chaofeng Chen and Xiaoming Li and Lingbo Yang and Xianhui Lin and Lei Zhang and Kwan-Yee K. Wong},
journal= {arXiv preprint arXiv:2009.08709},
year = {2021}
}
备注
Accepted to CVPR2021, https://github.com/chaofengc/PSFRGAN