由延迟引导的层自适应结构化剪枝
计算机视觉与模式识别
2023-05-25 v1 人工智能
机器学习
摘要
结构化剪枝可以简化网络架构并提升推理速度。结合最终模型部署的底层硬件和推理引擎，使用延迟协同损失函数共同引导网络剪枝可获得更好的结果。现有的优化延迟的剪枝方法已展现出领先性能，然而它们常忽视硬件特征及网络中的连接。为解决此问题，我们通过将非结构化剪枝的全局重要性分数 LAMP 推导至结构化剪枝，提出了全局重要性分数 SP-LAMP（Structured Pruning Layer-Adaptive Magnitude-based Pruning，基于层自适应幅度的结构化剪枝）。在 SP-LAMP 中，每层包含一个 SP-LAMP 分数为 1 的滤波器，其余滤波器被分组。我们利用组背包求解器在延迟约束下最大化 SP-LAMP 分数。此外，我们改进了延迟收集策略以使其更精确。特别地，对于 ImageNet 和 CIFAR10 上的 ResNet50/ResNet18，SP-LAMP 分别快 1.28 倍/8.45 倍，top-1 准确率变化为 +1.7%/-1.57%。在 CIFAR10 上 ResNet56 的实验结果表明，我们的算法在确保准确率和 FLOPs 的同时，相比其他方法实现了更低的延迟。
引用
@article{arxiv.2305.14403,
title = {Layer-adaptive Structured Pruning Guided by Latency},
author = {Siyuan Pan and Linna Zhang and Jie Zhang and Xiaoshuang Li and Liang Hou and Xiaobing Tu},
journal= {arXiv preprint arXiv:2305.14403},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2010.07611, arXiv:2110.10811 by other authors