面向评估的知识蒸馏用于深度人脸识别
计算机视觉与模式识别
2022-06-07 v1
摘要
知识蒸馏（KD）是一种广泛应用的技术，利用大型网络来提升紧凑模型的性能。以往的KD方法通常旨在引导学生完全模仿教师在表示空间中的行为。然而，这种一一对应的约束可能导致从教师到学生的知识迁移不够灵活，尤其是对于那些模型容量较低的学生。受KD方法最终目标的启发，我们提出了一种新颖的面向评估的KD方法（EKD）用于深度人脸识别，以在训练期间直接缩小教师与学生模型之间的性能差距。具体而言，我们采用人脸识别中常用的评估指标，即假正率（FPR）和真正率（TPR）作为性能指示器。根据评估协议，筛选出导致教师与学生模型之间TPR和FPR差异的关键样本对关系。然后，通过一种新颖的基于排序的损失函数，约束学生中的关键关系逼近教师中的对应关系，从而为低容量学生提供更大灵活性。在流行基准上的大量实验结果证明了我们的EKD优于最先进的竞争对手。
引用
@article{arxiv.2206.02325,
title = {Evaluation-oriented Knowledge Distillation for Deep Face Recognition},
author = {Yuge Huang and Jiaxiang Wu and Xingkun Xu and Shouhong Ding},
journal= {arXiv preprint arXiv:2206.02325},
year = {2022}
}
备注
CVPR2022 Oral