AGA-GAN: 基于属性引导注意力与U-Net的生成对抗网络用于人脸幻觉
计算机视觉与模式识别
2021-11-23 v1
摘要
人脸超分辨率方法的性能依赖于其有效恢复面部结构与显著特征的能力。尽管基于卷积神经网络与生成对抗网络的方法在人脸幻觉任务上表现优异,但利用与低分辨率图像关联的属性来提升性能的能力尚不尽如人意。本文提出一种属性引导注意力生成对抗网络(AGA-GAN),其采用新颖的属性引导注意力(AGA)模块来识别并聚焦图像中各类面部特征的生成过程。堆叠多个AGA模块可恢复高层与低层面部结构。我们设计判别器以利用高分辨率图像与其对应面部属性标注之间的关系来学习判别性特征。进而探索基于U-Net的架构以细化已有预测并合成更多面部细节。多项指标上的大量实验表明,我们的AGA-GAN与AGA-GAN+U-Net框架优于其他若干前沿人脸幻觉SOTA方法。我们还证明了在并非所有属性描述符均已知时方法的可行性,从而确立了其在真实场景中的应用价值。
引用
@article{arxiv.2111.10591,
title = {AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination},
author = {Abhishek Srivastava and Sukalpa Chanda and Umapada Pal},
journal= {arXiv preprint arXiv:2111.10591},
year = {2021}
}
备注
27 pages, 9 Figures