基于生成到判别表示的口罩人脸识别

口罩人脸识别对社会公益很重要，但受到各种遮挡的挑战，这些遮挡导致不充分或不准确的表示。在这项工作中，我们提出了一个统一的深度网络来学习生成到判别表示，以促进口罩人脸识别。为此，我们将网络分为三个模块，并以贪婪的模块级预训练方式在合成口罩人脸上学习它们。首先，我们利用一个为面部修复预训练的生成编码器，并对其进行微调，以将口罩人脸表示为类别感知描述符。由于生成编码器恢复上下文信息的能力，所得描述符可以为口罩人脸提供遮挡鲁棒的表示，减轻各种口罩的影响。然后，我们引入一个多层卷积网络作为判别重整器，并学习将其将类别感知描述符转换为身份感知向量，其中通过从现成的人脸识别模型中提取关系知识来有效监督学习。通过这种方式，判别重整器与生成编码器一起作为预训练骨干，为口罩人脸提供通用且判别性的表示。最后，我们将一个全连接层后接一个softmax层级联成特征分类器，并对其进行微调以识别重整后的身份感知向量。在合成和真实数据集上的大量实验证明了我们的方法在识别口罩人脸方面的有效性。