人脸表情合成与识别的联合深度学习
计算机视觉与模式识别
2020-02-07 v1
摘要
近来，基于深度学习的人脸表情识别（FER）方法引起了相当关注，它们通常需要大规模标注训练数据。然而，公开可用的人脸表情数据库通常只包含少量标注数据。本文为克服上述问题，提出一种新颖的人脸表情合成与识别联合深度学习方法以实现有效的 FER。更具体地，所提方法涉及两阶段学习过程。首先，预训练一个人脸表情合成生成对抗网络（FESGAN）以生成具有不同人脸表情的人脸图像。为增加训练图像的多样性，FESGAN 被精心设计为从先验分布生成具有新身份的图像。其次，在一个统一框架中将表情识别网络与预训练的 FESGAN 联合学习。特别地，由识别网络计算的分类损失被用于同时优化识别网络与 FESGAN 生成器的性能。此外，为缓解真实图像与合成图像间的数据偏置问题，我们提出一种带新颖真实数据引导反向传播（RDBP）算法的类内损失以减少同类图像的类内差异，这能显著提升最终性能。在公开人脸表情数据库上的大量实验结果证明了所提方法相对于若干最先进 FER 方法的优越性。
引用
@article{arxiv.2002.02194,
title = {Joint Deep Learning of Facial Expression Synthesis and Recognition},
author = {Yan Yan and Ying Huang and Si Chen and Chunhua Shen and Hanzi Wang},
journal= {arXiv preprint arXiv:2002.02194},
year = {2020}
}