自适应信号复苏：稀疏视觉网络的通道级后剪枝修复
机器学习
2026-05-21 v1
摘要
单次幅度剪枝在高稀疏 regime 下会导致严重的准确率崩溃，即使剪枝掩码保留了最大权重。我们认为，这一失败反映了后剪枝修复中的粒度不匹配。在全局幅度剪枝下，几乎崩溃的通道可与保留有意义激活方差的通道共存于同一层中。现有的层级激活修复方法对整层应用单一校正，因而会在尝试恢复层级信号时过度放大受损通道。我们提出了自适应信号复苏(Adaptive Signal Resuscitation, ASR)，一种训练-free的通道级修复方法，使修复的粒度与损伤的粒度匹配。ASR 为每个输出通道估计方差匹配校正，并通过数据驱动的收缩规则进行稳定化，抑制信号弱的通道中不可靠的校正，同时保留健康通道的校正。在应用 BatchNorm 重标定之前，ASR 只需针对小型校准集进行前向传播，无需重新训练。在三个数据集、四种卷积网络架构以及无结构和结构化稀疏性设置下，ASR通常优于层级修复方法，在高稀疏 regime 下获益最为明显。在ResNet-50上实现90%稀疏度时，ASR在CIFAR-10上恢复55.6%的 top-1 准确率，分别相对于层级修复的41.0%和仅 BatchNorm 重标定的28.0%。消融实验表明，朴素的通道级方差匹配尚不够，收缩才能稳定后剪枝修复。
引用
@article{arxiv.2605.21426,
title = {Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks},
author = {Qishi Zhan and Ziheng Chen and Minxuan Hu},
journal= {arXiv preprint arXiv:2605.21426},
year = {2026}
}