基于数值梯度更新的联合多维剪枝
计算机视觉与模式识别
2021-10-04 v2 机器学习
图像与视频处理
摘要
我们提出联合多维剪枝（简称 JointPruning），一种在三个关键方面同时剪枝网络的有效方法：空间、深度与通道。为处理这三个天然不同的维度，我们提出一个通用框架，将剪枝定义为寻求最佳剪枝向量（即逐层通道数、空间尺寸、深度的数值），并构建从剪枝向量到剪枝后网络结构的唯一映射。随后我们用梯度更新优化剪枝向量，并将联合剪枝建模为数值梯度优化过程。为克服损失与剪枝向量间无显式函数的挑战，我们提出自适应随机梯度估计，构建从网络损失到剪枝向量的梯度路径，并实现高效梯度更新。我们表明，联合策略发现了优于以往仅关注单一维度研究的状态，因我们的方法在单一端到端训练中跨三个维度协同优化，且比以往的穷举方法更高效。在大规模 ImageNet 数据集上跨多种网络架构 MobileNet V1&V2&V3 与 ResNet 的广泛实验证明了我们所提方法的有效性。例如，在极大压缩比下，我们在已十分紧凑的 MobileNet V1&V2 上相较 SOTA 方法取得了 2.5% 与 2.6% 的显著增益。
引用
@article{arxiv.2005.08931,
title = {Joint Multi-Dimension Pruning via Numerical Gradient Update},
author = {Zechun Liu and Xiangyu Zhang and Zhiqiang Shen and Zhe Li and Yichen Wei and Kwang-Ting Cheng and Jian Sun},
journal= {arXiv preprint arXiv:2005.08931},
year = {2021}
}
备注
Accepted to IEEE Transactions on Image Processing (TIP) 2021