统一知识蒸馏框架：面向深度人脸识别的细粒度对齐与几何关系保持

知识蒸馏对于优化面向计算资源受限环境（如边缘设备）的人脸识别模型至关重要。传统的 KD 方法，如原始 L2 特征蒸馏或特征一致性损失，往往难以捕捉细粒度的实例级细节和复杂的关系结构，导致效果不佳。我们提出一种统一方法，集成两种新颖损失函数，即实例级嵌入蒸馏和基于关系的两两相似度蒸馏。实例级嵌入蒸馏通过利用动态硬挖掘策略来对齐个体特征嵌入，从而增强对具有挑战性样本的学习。基于关系的两两相似度蒸馏通过两两相似关系捕获关系信息，采用记忆库机制和样本挖掘策略。该统一框架确保有效的实例级对齐和样本之间几何关系的保持，实现更全面的蒸馏过程。我们的统一框架在多个基准人脸识别数据集上超越了最先进的蒸馏方法，证实了其卓越的实验评估效果。有趣的是，当使用强大的教师网络相对于学生网络时，我们的统一 KD 甚至能让学生超过教师的准确率。