基于损失感知的结构化剪枝准则自动选择用于深度神经网络加速
计算机视觉与模式识别
2025-06-26 v1 人工智能
图像与视频处理
摘要
结构化剪枝是压缩神经网络的成熟技术，适用于资源受限的边缘设备部署。本文提出了一种高效的基于损失感知的结构化剪枝准则自动选择方法（Loss-Aware Automatic Selection of Structured Pruning Criteria, LAASP），用于神经网络的精简和加速。大多数剪枝方法采用三阶段的顺序流程：1）训练，2）剪枝，3）微调，而本文提出的剪枝技术采用剪枝式训练方法，消除了第一个阶段，并将第二个和第三个阶段集成到单个循环中。通过网络在小型训练数据子集上的总体损失，引导从指定的剪枝准则池中自动选择基于幅值或相似性的过滤器剪枝准则，以及每个剪枝迭代中的特定剪枝层。为缓解剪枝导致的突然性精度下降，网络在每个浮点运算（FLOPs）减少的预定义数量后进行简短的再训练。网络中每层的最优剪枝率自动确定，消除了对每个层固定或可变剪枝率的手动分配需求。在 VGGNet 和 ResNet 模型在 CIFAR-10 和 ImageNet 基准数据集上的实验表明，所提出的方法有效。特别是，CIFAR-10 数据集上的 ResNet56 和 ResNet110 模型在减少网络 FLOPs 52% 的同时显著提高了顶级 1 准确率。此外，ImageNet 数据集上的 ResNet50 模型在降低超过 42% 的 FLOPs 的同时，仅出现 0.33% 的顶级 5 准确率下降。本文的源代码公开可用 - https://github.com/ghimiredhikura/laasp。
引用
@article{arxiv.2506.20152,
title = {Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration},
author = {Deepak Ghimire and Kilho Lee and Seong-heum Kim},
journal= {arXiv preprint arXiv:2506.20152},
year = {2025}
}