深度人脸识别的自适应知识蒸馏
计算机视觉与模式识别
2024-07-02 v1
摘要
知识蒸馏(KD)旨在通过从高性能教师模型蒸馏知识来提高紧凑学生模型的性能。本文提出了一种自适应KD方法，称为AdaDistill，用于深度人脸识别。我们将KD概念嵌入softmax损失中，通过使用从教师模型蒸馏的类中心来训练带有边距惩罚softmax损失的学生。鉴于紧凑学生模型相对较低的容量，我们提出在训练早期蒸馏较不复杂的知识，在训练后期蒸馏较复杂的知识。这种对蒸馏知识的相对调整由学生在训练迭代过程中学习能力的进展控制，无需调节任何超参数。广泛的实验和消融研究表明，AdaDistill能够增强学生的判别式学习能力，并在IJB-B、IJB-C和ICCV2021-MFR等多个具有挑战性的数据集上优于各种最先进的方法。
引用
@article{arxiv.2407.01332,
title = {AdaDistill: Adaptive Knowledge Distillation for Deep Face Recognition},
author = {Fadi Boutros and Vitomir Štruc and Naser Damer},
journal= {arXiv preprint arXiv:2407.01332},
year = {2024}
}
备注
Accepted at ECCV 2024