基于梯度流的显著性用于DNN模型压缩的探索
计算机视觉与模式识别
2021-10-26 v1 机器学习
摘要
模型剪枝旨在减小深度神经网络（DNN）模型尺寸或计算开销。传统的模型剪枝方法如评估DNN通道重要性的l-1剪枝过于关注各通道的局部分析，并利用整个特征的大小而忽略其与每次卷积操作后批归一化（BN）和ReLU层的相关性。为克服这些问题，本文从梯度流这一新视角提出了一种新的模型剪枝方法。具体而言，我们首先基于泰勒展开，通过整合BN层与ReLU激活函数的影响，从理论上分析通道的影响。然后，建议引入BN层中缩放参数与偏移参数的一阶泰勒多项式，以有效指示DNN中通道的重要性。在图像分类与图像去噪任务上的综合实验证明了所提新理论及方案的优越性。代码见https://github.com/CityU-AIM-Group/GFBS。
引用
@article{arxiv.2110.12477,
title = {Exploring Gradient Flow Based Saliency for DNN Model Compression},
author = {Xinyu Liu and Baopu Li and Zhen Chen and Yixuan Yuan},
journal= {arXiv preprint arXiv:2110.12477},
year = {2021}
}
备注
ACM Multimedia 2021 (ACM MM'21)