使用语义引导生成对抗网络将热红外人脸图像匹配至可见光人脸图像

设计能够将热红外光谱下获取的人脸图像与可见光光谱下获取的人脸图像进行匹配的人脸识别系统是一项具有挑战性的问题。在本工作中，我们提出使用语义引导生成对抗网络（Semantic-Guided Generative Adversarial Network, SG-GAN）从热红外人脸图像自动合成可见光人脸图像。具体而言，由人脸解析网络提取的语义标签用于计算语义损失函数，以在训练过程中对对抗网络进行正则化。这些语义线索表示与每个像素相关联的高级面部组件信息。此外，利用身份提取网络生成多尺度特征以计算身份损失函数。为了获得逼真的结果，在网络训练过程中引入了感知损失函数，以确保合成的可见光人脸在感知上与目标可见光人脸图像相似。我们广泛评估了各个损失函数的益处，并将它们有效结合以学习从热红外到可见光人脸图像的映射。涉及两个多光谱人脸数据集的实验表明，所提方法在人脸合成和跨光谱人脸匹配方面均取得了有前景的结果。