FCSR-GAN：基于多任务学习的联合人脸补全与超分辨率方法
计算机视觉与模式识别
2019-11-05 v1
摘要
包含低分辨率与遮挡的复合变化常出现在自然场景中的人脸图像中，例如在视频监控场景下。虽然大多数现有人脸图像恢复方法每个模型只能处理一种变化类型，但在本工作中，我们提出了一种深度生成对抗网络（FCSR-GAN），通过多任务学习联合执行人脸补全与人脸超分辨率。FCSR-GAN 的生成器旨在给定带遮挡的低分辨率人脸图像输入的情况下，恢复无遮挡的高分辨率人脸图像。FCSR-GAN 的判别器使用一组精心设计的损失（对抗损失、感知损失、像素损失、平滑损失、风格损失与人脸先验损失）来保证恢复的无遮挡高分辨率人脸图像的高质量。FCSR-GAN 的整个网络可使用我们的两阶段训练策略端到端训练。在公开域 CelebA 与 Helen 数据库上的实验结果表明，所提方法在联合执行人脸超分辨率（最高 8 ）与人脸补全方面优于最先进（SOTA）方法，并在跨数据库测试中展现出良好的泛化能力。我们的 FCSR-GAN 还可用于提升在人脸图像存在低分辨率与遮挡时的人脸识别性能。
引用
@article{arxiv.1911.01045,
title = {FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning},
author = {Jiancheng Cai and Hu Han and Shiguang Shan and Xilin Chen},
journal= {arXiv preprint arXiv:1911.01045},
year = {2019}
}
备注
To appear in IEEE Trans. BIOM