带收尾润色的面部幻觉生成

Yang Zhang; Ivor W. Tsang; Jun Li; Ping Liu; Xiaobo Lu; Xin Yu

doi:10.1109/TIP.2020.3046918

带收尾润色的面部幻觉生成

计算机视觉与模式识别 2021-02-03 v2

作者: Yang Zhang , Ivor W. Tsang , Jun Li , Ping Liu , Xiaobo Lu , Xin Yu

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

从低分辨率(LR)非正面人脸图像中获取高质量正面人脸图像，对许多面部分析应用至关重要。然而，主流方法要么侧重于对近正面LR人脸进行超分辨率重建，要么对正面非LR高分辨率(HR)人脸进行正面化。对于日常非受限人脸图像，理想情况是无缝地完成这两项任务。本文提出一种新颖的生动面部幻觉生成对抗网络(VividGAN)，用于同时对非正面微小人脸图像进行超分辨率重建与正面化。VividGAN由粗粒度和细粒度面部幻觉网络(FHnet)以及两个判别器(即Coarse-D和Fine-D)组成。粗粒度FHnet生成正面粗HR人脸，随后细粒度FHnet利用面部部件外观先验(即细粒度面部部件)来获得具有真实细节的正面HR人脸图像。在细粒度FHnet中，我们还设计了一个面部部件感知模块，该模块采用面部几何引导作为线索，以准确对齐并融合正面粗HR人脸与先验信息。同时，设计了两级判别器以捕获人脸图像的全局轮廓以及详细的面部特征。Coarse-D强制粗幻觉人脸保持端正且完整，而Fine-D专注于细幻觉人脸以获得更锐利的细节。大量实验表明，我们的VividGAN能够生成照片级真实的正面HR人脸，在下游任务(即人脸识别与表情分类)中相较于其他最先进方法取得了更优性能。

关键词

面部幻觉生成对抗网络超分辨率人脸正面化面部部件先验人脸识别表情分类

引用

@article{arxiv.2002.03308,
  title  = {Face Hallucination with Finishing Touches},
  author = {Yang Zhang and Ivor W. Tsang and Jun Li and Ping Liu and Xiaobo Lu and Xin Yu},
  journal= {arXiv preprint arXiv:2002.03308},
  year   = {2021}
}

备注

15 pages, 15 figures

带收尾润色的面部幻觉生成

摘要

关键词

引用

备注

相关论文