FSRNet：利用面部先验的端到端学习人脸超分辨率
计算机视觉与模式识别
2017-11-30 v1
摘要
人脸超分辨率（SR）是一个特定领域的超分辨率问题。可利用特定的面部先验知识以更好地超分辨人脸图像。我们提出一种新颖的深度端到端可训练人脸超分辨率网络（FSRNet），其充分利用几何先验，即人脸关键点热力图与解析图，对极低分辨率（LR）人脸图像进行超分辨，且无需严格对齐。具体而言，我们首先构建粗 SR 网络以恢复粗的高分辨率（HR）图像。随后，粗 HR 图像被送入两个分支：细 SR 编码器与先验信息估计网络，分别提取图像特征、估计关键点热力图/解析图。图像特征与先验信息均送入细 SR 解码器以恢复 HR 图像。为进一步生成逼真人脸，我们提出人脸超分辨率生成对抗网络（FSRGAN），将对抗损失引入 FSRNet。此外，我们引入人脸对齐与解析两项相关任务作为人脸 SR 的新评价指标，以解决经典指标在视觉感知上不一致的问题。大量基准实验表明，FSRNet 与 FSRGAN 在极低分辨率人脸 SR 上无论是定量还是定性均显著优于现有最优方法。代码将在发表后公开。
引用
@article{arxiv.1711.10703,
title = {FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors},
author = {Yu Chen and Ying Tai and Xiaoming Liu and Chunhua Shen and Jian Yang},
journal= {arXiv preprint arXiv:1711.10703},
year = {2017}
}
备注
Chen and Tai contributed equally to this paper