混合剪枝：深度神经网络的全局引导层级稀疏化
计算机视觉与模式识别
2026-03-24 v1 硬件体系结构
机器学习
摘要
在边缘设备上部署深度神经网络（DNNs）需要在最小精度损失下实现强压缩。本文引入Mix-and-Match Pruning，一个全局引导、层级稀疏化框架，利用灵敏度得分和简单架构规则生成多样化的高质量剪枝配置。该框架解决了一个关键限制，即不同层和架构对剪枝的反应不同，使得单一策略方法次优。Mix-and-Match推导架构感知的稀疏度范围，例如在保留归一化层的同时更激进地剪枝分类器，并系统性地抽样这些范围以产生每个灵敏度信号（幅值、梯度或其组合）的十种策略。这一方法消除了重复的剪枝运行，同时提供部署就绪的准确性-稀疏度权衡。在CNN和Vision Transformer上的实验表明，Mix-and-Match实现了Pareto最优结果，相对于标准单一准则剪枝，使Swin-Tiny在准确性降低方面降低了40%。这些发现表明，协调现有剪枝信号比引入新准则更可靠且更高效。
引用
@article{arxiv.2603.20280,
title = {Mix-and-Match Pruning: Globally Guided Layer-Wise Sparsification of DNNs},
author = {Danial Monachan and Samira Nazari and Mahdi Taheri and Ali Azarpeyvand and Milos Krstic and Michael Huebner and Christian Herglotz},
journal= {arXiv preprint arXiv:2603.20280},
year = {2026}
}