具有语义结构约束的频率感知人脸超分辨率生成对抗网络
计算机视觉与模式识别
2021-10-06 v1 人工智能
摘要
本文研究人脸超分辨率问题。当前大多数人脸超分辨率方法依赖二维人脸先验，从低分辨率人脸图像生成高分辨率人脸图像。这些方法仅能将全局信息同化到生成图像中。现有方法仍存在若干固有缺陷，例如最终输出图像中局部特征、细微结构细节以及深度信息的缺失。本工作提出一种基于生成对抗网络（GAN）的新型渐进式人脸超分辨率（FH）网络，以解决现有方法的这些问题。所提模型的生成器由FH网络与两个子网络组成，辅助FH网络生成高分辨率图像。第一个子网络显式地将高频分量加入模型。为显式编码高频分量，提出一种自编码器以生成离散余弦变换（DCT）的高分辨率系数。为将三维参数信息加入网络，提出第二个子网络。该网络利用三维可变形模型（3DMM）的形状模型为FH网络添加结构约束。本文大量实验结果表明，所提模型优于当前最优（SOTA）方法。
引用
@article{arxiv.2110.01880,
title = {Frequency Aware Face Hallucination Generative Adversarial Network with Semantic Structural Constraint},
author = {Shailza Sharma and Abhinav Dhall and Vinay Kumar},
journal= {arXiv preprint arXiv:2110.01880},
year = {2021}
}
备注
12 pages, 12 figures, submitted to IEEE Transactions on Computational Imaging