Pacemaker：面向即时卷积神经网络的中间教师知识蒸馏
计算机视觉与模式识别
2020-03-10 v1
摘要
在系统级芯片(SoC)和嵌入式设备等极低性能系统中，需要一种即时计算过程。本文提出pacemaker知识蒸馏作为中间集成教师，以在这些系统中使用卷积神经网络。对于即时系统，我们考虑使用1xN形状即时滤波器的学生模型，以及使用常规NxN形状滤波器的教师模型。我们指出了应用即时滤波器训练学生模型的三个问题。第一，相同深度但不可避免的薄模型压缩。第二，由于仅能选择水平感受野而非垂直感受野，导致的巨大容量差距和参数规模差距。第三，直接蒸馏的性能不稳定与退化。为解决这些问题，我们提出名为pacemaker的中间教师，用于即时学生模型。因此，学生可以逐步从pacemaker和原始教师学习。实验证明我们提出的方法取得了显著的性能(准确率)提升：在CIFAR100上，WRN-40-4相比常规知识蒸馏提升了5.39%，而常规知识蒸馏甚至比基线更差。并且我们通过应用所提pacemaker知识蒸馏方法减小偏差范围，解决了未用所提方法时应用常规知识蒸馏出现的训练不稳定问题。
引用
@article{arxiv.2003.03944,
title = {Pacemaker: Intermediate Teacher Knowledge Distillation For On-The-Fly Convolutional Neural Network},
author = {Wonchul Son and Youngbin Kim and Wonseok Song and Youngsu Moon and Wonjun Hwang},
journal= {arXiv preprint arXiv:2003.03944},
year = {2020}
}