基于特征图的知识蒸馏用于图像分类
机器学习
2018-12-04 v1 人工智能
计算机视觉与模式识别
摘要
缓解复杂深度学习架构的计算成本与延迟的模型压缩问题，因其在模型部署中的重要性而受到越来越多的研究。一种有前景的方法是知识蒸馏（KD），其构建一个快速执行的 student 模型来模仿大型 teacher 网络。本文提出一种称为 KDFM（Knowledge Distillation with Feature Maps，基于特征图的知识蒸馏）的方法，通过从 teacher 网络学习特征图来提升 KD 的效果。KDFM 使用的两项主要技术是共享分类器与生成对抗网络（generative adversarial network）。实验结果表明，KDFM 可使用四层 CNN 来模仿 DenseNet-40，并使用 MobileNet 来模仿 DenseNet-100。对于 CIFAR-100 数据集，两个 student 网络相比其 teacher 模型的精度损失均小于 1%。student 网络的推理速度比其 teacher 模型快 2-6 倍，且 MobileNet 的模型大小不到 DenseNet-100 的一半。
引用
@article{arxiv.1812.00660,
title = {Knowledge Distillation with Feature Maps for Image Classification},
author = {Wei-Chun Chen and Chia-Che Chang and Chien-Yu Lu and Che-Rung Lee},
journal= {arXiv preprint arXiv:1812.00660},
year = {2018}
}
备注
Knowledge Distillation, Model Compression, and Generative Adversarial Network, ACCV 2018