FAIR-Pruner：基于差异容忍度的自适应分层结构化剪枝框架

结构化剪枝是压缩深度神经网络的标准工具，但其实际性能取决于稀疏度在各层之间的分配方式。我们提出了FAIR-Pruner，这是一个无需搜索的自适应分层结构化剪枝框架。FAIR-Pruner使用两种层内排序：一种面向删除的信号用于提出候选单元，另一种面向保护的信号用于识别任务敏感单元。其核心组件——差异容忍度（Tolerance of Difference, ToD）——衡量删除前缀与受保护尾部之间的重叠度，并通过统一的容忍度水平在各层上引导非均匀剪枝深度。作为默认的视觉实现，FAIR-Pruner将基于Wasserstein距离的U-得分用于类条件单元可分性，以及基于泰勒展开的R-得分用于任务级灵敏度；相同的ToD分配规则也可与其他删除信号搭配使用。理论上，我们通过Population R-得分分析ToD，推导基于排名的高R-得分质量进入剪枝集的控制，并识别了与均匀剪枝相同预算下的等价交换条件。在CIFAR-10、CIFAR-100、SVHN和ImageNet数据集上进行实验，分别使用VGG、ResNet、DenseNet、ConvNeXt和DeiT模型，结果显示FAIR-Pruner在准确率与压缩比之间具有优异的权衡。此外，针对路由专家Qwen1.5-MoE-A2.7B-Chat进行剪枝实验，检验了在匹配专家预算下的架构可扩展性。FAIR-Pruner已发布为可通过pip安装的开源软件包。