ShrinkTeaNet：通过压缩师生网络实现百万规模轻量级人脸识别
计算机视觉与模式识别
2019-05-28 v1
摘要
大规模野外人脸识别近来已在众多实际工作中达到成熟性能。然而，此类系统构建于 GPU 平台且多部署沉重的深度网络架构。给定一个高性能沉重网络作为教师，本文提出一种简洁优雅的师生学习范式，即 ShrinkTeaNet，用于训练一个参数显著更少且与教师网络精度相当的便携学生网络。不同于先前师生框架主要关注闭集问题中的精度与压缩比，我们提出的师生网络被证明对开集问题（即大规模人脸识别）更具鲁棒性。此外，本文引入一种新颖的角度蒸馏损失（Angular Distillation Loss），用于将教师超球面的特征方向与样本分布蒸馏至其学生。随后 ShrinkTeaNet 框架可利用教师在特征嵌入中间与最后阶段呈现的知识高效引导学生学习过程。在 LFW、CFP-FP、AgeDB、IJB-B 与 IJB-C Janus 以及含百万干扰项的 MegaFace 上的评估，证明了该方法学习具有满意精度与紧凑尺寸的鲁棒学生网络的有效性。我们的 ShrinkTeaNet 能够支持轻量级架构在 LFW 上以 99.77% 与大规模 MegaFace 协议上 95.64% 实现高性能。
引用
@article{arxiv.1905.10620,
title = {ShrinkTeaNet: Million-scale Lightweight Face Recognition via Shrinking Teacher-Student Networks},
author = {Chi Nhan Duong and Khoa Luu and Kha Gia Quach and Ngan Le},
journal= {arXiv preprint arXiv:1905.10620},
year = {2019}
}