CRISP：用于类感知模型剪枝的混合结构化稀疏

用于分类任务的机器学习流程通常训练一个通用模型以在广泛类别上达到准确率。然而，典型用户日常仅遇到有限类别。这种差异提供了通过定制模型以聚焦于用户特定类别来提升计算效率的机会。现有工作依赖非结构化剪枝，其在模型中引入随机分布的非零值，不利于硬件加速。另一些方法采用结构化剪枝（如通道剪枝），但往往仅提供极小压缩率并可能导致模型准确率下降。本工作中，我们提出 CRISP，一种利用混合结构化稀疏模式的新颖剪枝框架，结合细粒度 N:M 结构化稀疏与粗粒度块稀疏。我们的剪枝策略由基于梯度的类感知显著性分数引导，使我们保留对用户特定类别至关重要的权重。CRISP 在 ImageNet 与 CIFAR-100 数据集上针对 ResNet-50、VGG-16 与 MobileNetV2 等流行模型以最小内存消耗实现高准确率。此外，相较于现有剪枝方法，CRISP 在保持相当准确率的同时将延迟与能耗降低至多 14$\times$。我们的代码见 https://github.com/shivmgg/CRISP/。