网络内爆：通过静态层剪枝与重训练实现 ResNet 的有效模型压缩
机器学习
2019-06-11 v1 计算机视觉与模式识别
机器学习
摘要
带有卷积层的残差网络在机器学习领域被广泛使用。由于它们通过堆叠多层有效地从输入数据中提取特征，在许多应用中都能达到很高的准确率。然而，多层堆叠提高了计算成本。为解决此问题，我们提出网络内爆（Network Implosion），它能在不降低准确率的情况下从残差网络中擦除多层。我们的核心思想是引入一个优先级项来识别层的重要性；我们可以根据该优先级选择不重要的层，并在训练后将其擦除。此外，我们对网络进行重训练，以避免层擦除后准确率出现严重下降。理论评估表明，我们的擦除与重训练方案能够在不降低准确率的情况下擦除层，并且比从头训练达到更高的准确率。我们的实验表明，在 Cifar-10/100 和 ImageNet 上的分类任务中，网络内爆能够减少 24.00% 至 42.86% 的层数而不产生任何准确率下降。
引用
@article{arxiv.1906.03826,
title = {Network Implosion: Effective Model Compression for ResNets via Static Layer Pruning and Retraining},
author = {Yasutoshi Ida and Yasuhiro Fujiwara},
journal= {arXiv preprint arXiv:1906.03826},
year = {2019}
}
备注
Preprint of International Joint Conference on Neural Networks (IJCNN) 2019