基于特征图判别性的深度神经网络剪枝视角
机器学习
2020-05-29 v1 计算机视觉与模式识别
机器学习
摘要
网络剪枝已成为加速移动与边缘应用深度神经网络的事实标准工具。近来，基于特征图判别性的通道剪枝展现出良好前景，因其与CNN区分多类的目标一致且提供更佳的剪枝决策可解释性。然而，现有基于判别性的方法受困于计算低效，因缺乏量化特征图判别力的理论指导。本文提出新的数学表述以准确高效量化特征图判别性，由此引出新准则——判别信息(DI)。我们分析DI的理论性质，特别是非递减性，使DI成为有效选择准则。基于DI的剪枝移除对DI值影响最小的通道，因其含极少判别力相关信息。DI准则的通用性也支持层内混合精度量化以进一步压缩网络。此外，我们提出基于DI的贪心剪枝算法与结构蒸馏技术，自动决定满足特定资源预算的剪枝结构，此为现实常见需求。大量实验证明本方法有效：我们在ImageNet上剪枝的ResNet50相较未剪枝模型实现44% FLOPs削减且无任何Top-1精度损失。
引用
@article{arxiv.2005.13796,
title = {A Feature-map Discriminant Perspective for Pruning Deep Neural Networks},
author = {Zejiang Hou and Sun-Yuan Kung},
journal= {arXiv preprint arXiv:2005.13796},
year = {2020}
}