稀疏度分配如何塑造无标签后修剪可恢复性
机器学习
2026-05-22 v1
摘要
在高稀疏度下进行非结构化幅度剪枝会降低神经网络准确率至接近随机水平，而标签重训练在实际部署场景中可能不可得。无标签后修剪修复方法可部分恢复折叠的稀疏模型，但其效果取决于上游剪枝分配所留下的稀疏模型。本文研究稀疏度分配如何在固定激活统计修复后端下影响后期修复可恢复性。我们在 CIFAR-10、CIFAR-100 和 Imagenette 上使用 ResNet-18、ResNet-34 和 ResNet-50，在稀疏度从 90% 到 95.5% 的范围内比较 ERK 和 LAMP 分配 under 相同的无标签修复协议。结果表明，分配选择在相同的全局稀疏度下会显著改变后期修复准确率，并且，首选分配随架构、数据集难度和稀疏度水平而异。我们识别出一种修复敏感的过渡 regime，其中 BatchNorm 校准开始失败，但激活统计修复仍恢复非平凡准确率。对 ImageNet-100 和 DenseNet-121 的额外验证表明，这种可恢复 regime 的位置和宽度取决于数据规模和连接结构。这些发现表明，剪枝分配和后期剪枝修复应联合研究，因为分配决定了多少激活信号可供无标签恢复使用。
引用
@article{arxiv.2605.21972,
title = {How Sparsity Allocation Shapes Label-Free Post-Pruning Recoverability},
author = {Qishi Zhan and Minxuan Hu and Liang He},
journal= {arXiv preprint arXiv:2605.21972},
year = {2026}
}