相对可修复性：基于校准的高稀疏后修剪分配诊断
机器学习
2026-05-26 v1
摘要
在极高稀疏率时，神经网络剪枝不仅决定保留哪些权重，还决定剪枝导致的损伤在网络中的分布方式，以及该损伤能否通过固定轻量级修复程序恢复。我们通过修复条件稀疏率分配的视角研究此问题。我们引入相对可修复性（RR），这是一种基于校准的诊断方法，通过比较层级剪枝导致的原始激活失真与通道级方差匹配修复后剩余失真来估计修复后残留的局部损伤比例。RR仅使用无标签校准数据即可估计局部损伤在修复后的剩余比例。在ResNet18、ResNet34和VGG16 BN上进行CIFAR10和CIFAR100实验，我们发现RR并非普遍占主导的分配规则。相反，它最适用于架构相关的可修复性转移点处，在此处，标准结构或幅度基准的分配先验开始失去可靠性，但修复后的恢复尚未完全崩溃。在CIFAR100 ResNet18上，细粒度扫描显示，RR在中心转移带上优于ERK，在其上部区域超过LAMP。投影强制性消失实验证明，保守的ERK会过度保护投影层，将过多稀疏率转移到常规卷积上，降低修复后的恢复效果。这些结果表明，高稀疏率剪枝应分配不仅保留权重，还应分配可修复的损伤。
引用
@article{arxiv.2605.25508,
title = {Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation},
author = {Qishi Zhan and Liang He and Minxuan Hu and Ziheng Chen},
journal= {arXiv preprint arXiv:2605.25508},
year = {2026}
}