深度联合人脸超分辨率重建与识别

深度模型已在人脸超分辨率重建任务中取得了令人瞩目的性能。然而，我们观察到，直接将重建后的面部图像输入识别模型，尽管可视化质量显著提升，却甚至可能降低识别性能。本文通过联合学习一个同时用于人脸超分辨率重建和识别两个任务的深度模型来解决这一问题。具体而言，我们设计了一个端到端的深度卷积网络，其中超分辨率重建子网络与识别子网络级联。识别子网络负责以超分辨率重建子网络生成的重建图像作为输入，产生具有判别力的特征表示。在训练期间，我们将低分辨率面部图像输入网络，并通过最小化两个损失项来优化参数，即：1）由真实高分辨率图像与网络生成图像之间的逐像素差异衡量的人脸超分辨率重建损失；以及2）由分类误差和类内距离衡量的验证损失。我们在 LFW 和 YTF 数据集上广泛评估了我们的方法。实验结果表明，我们的方法在 4 倍下采样的 LFW 测试集上可以达到 97.95% 的识别准确率，优于传统人脸识别模型 96.35% 的准确率。在更具挑战性的 YTF 数据集上，我们取得了 90.65% 的识别准确率，比传统人脸识别模型在 4 倍下采样版本上获得的 89.45% 的识别准确率有所提升。