EagleEye：面向高效神经网络剪枝的快速子网络评估
计算机视觉与模式识别
2020-08-06 v2
摘要
找出已训练深度神经网络（DNN）中计算冗余的部分是剪枝算法所针对的关键问题。许多算法试图通过引入各种评估方法来预测剪枝后子网络的模型性能。但它们要么不准确，要么过于复杂而不便通用。本工作中，我们提出一种称为 EagleEye 的剪枝方法，其中应用了一个基于自适应批归一化的简单而高效的评估组件，以揭示不同剪枝后 DNN 结构与其最终稳定精度之间的强相关性。该强相关性使我们无需实际微调即可快速定位具有最高潜在精度的剪枝候选。该模块也可通用地插入并改进一些现有剪枝算法。EagleEye 在我们的实验中取得了优于所有被研究剪枝算法的剪枝性能。具体而言，在剪枝 MobileNet V1 和 ResNet-50 时，EagleEye 以高达 3.8% 的优势超越所有对比方法。即使在更具挑战性的剪枝紧凑模型 MobileNet V1 的实验中，EagleEye 在整体剪枝 50% 运算量（FLOPs）的情况下取得了 70.9% 的最高精度。所有精度结果均为 ImageNet 分类 Top-1 精度。源代码与模型已向开源社区开放 https://github.com/anonymous47823493/EagleEye 。
引用
@article{arxiv.2007.02491,
title = {EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning},
author = {Bailin Li and Bowen Wu and Jiang Su and Guangrun Wang and Liang Lin},
journal= {arXiv preprint arXiv:2007.02491},
year = {2020}
}
备注
Accepted in ECCV 2020(Oral). Codes are available on https://github.com/anonymous47823493/EagleEye