增强结构化Lasso剪枝：利用类别信息
计算机视觉与模式识别
2026-03-24 v4 人工智能
摘要
现代应用需要轻量级神经网络模型。大多数现有神经网络剪枝方法专注于删除不重要的过滤器，但可能因未考虑类别信息而导致剪枝后统计信息丢失。本文从利用精确类别信息进行模型剪枝的角度采用结构化Lasso，并借助信息瓶颈理论，这些理论指导我们确保在剪枝前后保留统计信息。通过这些技术，我们提出了两个新的自适应网络剪枝方案：稀疏图结构化Lasso剪枝结合信息瓶颈（sGLP-IB）和稀疏树导向Lasso剪枝结合信息瓶颈（sTLP-IB）。关键组件是利用sGLP-IB和sTLP-IB更精确的结构化类别相关性进行模型过滤器剪枝。与多种最先进的方法相比，我们的方法在广泛的实验中在三个数据集和六个模型结构上实现最佳性能。例如，基于CIFAR-10数据集的VGG16模型，我们可将参数减少85%，将FLOPs降低61%，并保持94.10%的准确率（比原始模型高出0.14%）。对于大规模ImageNet，我们可将参数减少55%，同时将准确率保持在76.12%（仅下降0.03%），采用ResNet架构。总之，我们成功在保持准确性有效性的同时，显著减少了模型规模和计算资源使用。
引用
@article{arxiv.2502.09125,
title = {Enhanced Structured Lasso Pruning with Class-wise Information},
author = {Xiang Liu and Mingchen Li and Xia Li and Leigang Qu and Guansu Wang and Zifan Peng and Yijun Song and Zemin Liu and Linshan Jiang and Jialin Li},
journal= {arXiv preprint arXiv:2502.09125},
year = {2026}
}
备注
11 pages, 3 figures