MarginDistillation：面向基于间隔的 softmax 的蒸馏方法
计算机视觉与模式识别
2020-03-06 v1
摘要
将卷积神经网络（CNN）与基于间隔的 softmax 方法结合使用，在人脸识别问题上展现出了最先进的性能。近来，为使边缘设备的人脸识别任务得以实现，出现了使用基于间隔的 softmax 训练的轻量级神经网络模型。本文提出一种面向轻量级神经网络架构的新型蒸馏方法，其在 LFW、AgeDB-30 和 Megaface 数据集上的人脸识别任务中优于其他已知方法。所提方法的思路是利用教师网络中的类中心用于学生网络。随后训练学生网络，使其获得的类中心与教师网络所预测的人脸嵌入之间的角度保持一致。
关键词
引用
@article{arxiv.2003.02586,
title = {MarginDistillation: distillation for margin-based softmax},
author = {David Svitov and Sergey Alyamkin},
journal= {arXiv preprint arXiv:2003.02586},
year = {2020}
}