使用廉价卷积与在线蒸馏训练卷积神经网络
计算机视觉与模式识别
2019-10-11 v3
摘要
卷积神经网络（CNN）巨大的内存与计算消耗，一直是在资源受限系统上部署它们的主要障碍之一。为此，近来大多数廉价卷积（如分组卷积、深度可分离卷积和移位卷积）被用于降低内存与计算量，但需特定的架构设计。此外，直接用这些廉价卷积替换标准卷积会导致压缩网络的判别力下降。本文提出利用知识蒸馏来提升采用廉价卷积的紧凑学生网络的性能。在我们的设定中，教师网络为使用标准卷积的网络，而学生网络是对教师架构的简单变换，无需复杂重设计。特别地，我们提出一种新颖的在线蒸馏方法，该方法在线构建教师网络而无需预训练，并在教师与学生网络间进行互学习，以提升学生模型性能。大量实验表明，在不同数据集（包括 CIFAR-10/100 与 ImageNet ILSVRC 2012）上，相较于最先进的 CNN 压缩与加速方法，所提方法在同时降低前沿 CNN 的内存与计算开销方面取得了更优性能。代码已公开于 https://github.com/EthanZhangYC/OD-cheap-convolution。
引用
@article{arxiv.1909.13063,
title = {Training convolutional neural networks with cheap convolutions and online distillation},
author = {Jiao Xie and Shaohui Lin and Yichen Zhang and Linkai Luo},
journal= {arXiv preprint arXiv:1909.13063},
year = {2019}
}