基于自适应激活的结构化剪枝
计算机视觉与模式识别
2023-03-13 v3 人工智能
机器学习
摘要
剪枝是一种有前景的压缩复杂深度学习模型的方法，以便将其部署在资源受限的边缘设备上。然而，许多现有剪枝方案基于非结构化剪枝，所得模型无法在商用硬件上高效运行，且要求用户手动探索和调整剪枝过程，这耗时且常导致次优结果。为应对这些局限，本文提出一种自适应的、基于激活的结构化剪枝方法，以自动且高效地生成满足用户需求的小型、准确且硬件高效的模型。首先，其提出使用基于激活的注意力特征图进行迭代结构化剪枝，以有效识别并剪除不重要的滤波器。然后，其提出自适应剪枝策略，用于自动满足精度关键、内存受限和延迟敏感任务的剪枝目标。综合评估表明，所提方法在 CIFAR-10 和 ImageNet 数据集上可大幅优于最先进的结构化剪枝工作。例如，在 CIFAR-10 上的 ResNet-56 中，在不损失任何精度的情况下，我们的方法实现了最大的参数量缩减（79.11%），比相关工作高出 22.81% 至 66.07%，以及最大的 FLOPs 缩减（70.13%），比相关工作高出 14.13% 至 26.53%。
引用
@article{arxiv.2201.10520,
title = {Adaptive Activation-based Structured Pruning},
author = {Kaiqi Zhao and Animesh Jain and Ming Zhao},
journal= {arXiv preprint arXiv:2201.10520},
year = {2023}
}