基于内部蒸馏的背包剪枝方法
机器学习
2020-06-05 v3 机器学习
摘要
神经网络剪枝可降低过参数化网络的计算成本以提升其效率。主流方法从 范数稀疏化到神经架构搜索（NAS）不一而足。本文提出一种新颖的剪枝方法，该方法优化剪枝网络的最终精度，并从过参数化父网络的内部层蒸馏知识。为实现此方法，我们将网络剪枝表述为一个背包问题，以优化神经元重要性与其关联计算成本之间的权衡，随后在保持网络高层结构的同时剪枝网络通道。剪枝后的网络在父网络监督下利用其内部网络知识进行微调，我们将此技术称为内部知识蒸馏（Inner Knowledge Distillation）。我们的方法在基于ResNet骨干网的ImageNet、CIFAR-10和CIFAR-100上取得了最先进的剪枝结果。为剪枝具有跳跃连接和深度可分离卷积的复杂网络结构，我们提出一种块分组方法来应对这些结构。由此我们生成了与EfficientNet-B0和MobileNetV3具有相同FLOPs但精度更高的紧凑架构，在ImageNet上分别高出 和 ，且在GPU上运行更快。
引用
@article{arxiv.2002.08258,
title = {Knapsack Pruning with Inner Distillation},
author = {Yonathan Aflalo and Asaf Noy and Ming Lin and Itamar Friedman and Lihi Zelnik},
journal= {arXiv preprint arXiv:2002.08258},
year = {2020}
}