用于大姿态人脸正脸化的双重注意力GAN
计算机视觉与模式识别
2020-02-19 v1
摘要
人脸正脸化提供了一种有效且高效的人脸数据增强方式,并进一步提升极端姿态场景下的人脸识别性能。尽管基于深度学习的人脸合成方法近期取得进展,但由于显著的姿态与光照差异,该问题仍具挑战性。本文提出一种新颖的双重注意力生成对抗网络(DA-GAN),通过在GAN训练中同时捕获上下文依赖与局部一致性来实现照片级真实感人脸正脸化。具体而言,引入基于自注意力的生成器以将局部特征与其长程依赖相整合,从而产生更好的特征表示,并由此生成更好地保持身份的人脸,尤其针对较大姿态角。此外,应用一种新颖的基于人脸注意力的判别器以强调人脸区域的局部特征,从而增强合成正脸的真实感。在语义分割引导下,使用四个独立判别器来区分人脸的不同方面(即皮肤、关键点、发际线与正脸化人脸)。通过在生成器与判别器中分别引入这两种互补注意力机制,我们可学习更丰富的特征表示,并生成相比最先进方法具有更精细细节(即更准确面部外观与纹理)且保持身份的正脸推断。定量与定性实验结果证明了我们DA-GAN方法的有效性与高效性。
引用
@article{arxiv.2002.07227,
title = {Dual-Attention GAN for Large-Pose Face Frontalization},
author = {Yu Yin and Songyao Jiang and Joseph P. Robinson and Yun Fu},
journal= {arXiv preprint arXiv:2002.07227},
year = {2020}
}
备注
The 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020)