基于知识迁移与蒸馏的深度人脸识别模型压缩
计算机视觉与模式识别
2019-06-04 v1
摘要
全卷积网络(FCNs)已成为在众多视觉与非视觉任务(尤其是人脸识别)中取得极高性能的事实标准工具。此类高精度通常由极深网络或其集成获得。然而,将此类高性能模型部署到资源受限设备或实时应用中颇具挑战。本文提出一种基于师生范式的面向人脸识别应用的新型模型压缩方法。该方法以较高图像分辨率训练教师 FCN,而学生 FCN 以低于教师 FCN 的图像分辨率训练。我们探索了三种训练学生 FCN 的方法:知识迁移(KT)、知识蒸馏(KD)及其组合。在 LFW 与 IJB-C 数据集上的实验评估表明,这些方法在精度上具有可比的提升。从高分辨率教师网络训练低分辨率学生 FCN 具有四重优势:加速训练、加速推理、降低内存需求以及提升精度。我们在 IJB-C 数据集上评估了所有模型,并在该基准上取得了最先进(state-of-the-art)结果。教师网络及部分学生网络甚至在 IJB-C 数据集上达到了 Top-1 性能。所提方法简单且对硬件友好,从而能够将高性能人脸识别深度模型部署到资源受限设备。
引用
@article{arxiv.1906.00619,
title = {Deep Face Recognition Model Compression via Knowledge Transfer and Distillation},
author = {Jayashree Karlekar and Jiashi Feng and Zi Sian Wong and Sugiri Pranata},
journal= {arXiv preprint arXiv:1906.00619},
year = {2019}
}
备注
7 pages, 5 figures