选择平台期与剪枝特征的稀疏度依赖层级
机器学习
2026-05-12 v1
摘要
我们在一次性神经网络剪枝中识别出一种选择平台期现象：所有秩单调权重评分器在固定稀疏度下收敛至相同的准确率，与函数形式无关。我们提出了稀疏度-信息-复杂度谱假设：一个稀疏度依赖的最小特征复杂度 kappa(S) 控制着平台期逃逸，其中 kappa=0 在低稀疏度（S<0.65）下即足够，kappa=1 在临界稀疏度（S~0.7）下占主导，而 kappa=2 在极端稀疏度（S>0.75）下是必需的。在 ViT-Small/CIFAR-10 上，测试了四种稀疏度下的九个特征类，平滑非单调特征在 S=0.7 时提供了 +6.6% 的逃逸，而在 S=0.8 时只有具有高频摆动的原始特征能够逃逸（+2.6%）。伪非单调评分器的表现不如梯度基线，表明该要求是与幅度无关的非单调性。手工制作的高斯凸起仅实现 +0.006 的逃逸，而源自混沌的特征实现 +0.046，表明秩对齐是必要但不充分的。SICS 为多种剪枝方法的性能聚类提供了统一解释，并建议未来的选择算法应根据目标稀疏度调整特征复杂度。
引用
@article{arxiv.2605.09345,
title = {Selection Plateau and a Sparsity-Dependent Hierarchy of Pruning Features},
author = {Guangqi Li and Yongxin Li},
journal= {arXiv preprint arXiv:2605.09345},
year = {2026}
}
备注
22 pages, 3 figures, 5 tables. Empirical study + framework hypothesis on ViT-Small/CIFAR-10. Cross-domain validation (vision token pruning, KV cache compression, MoE routing) and cross-architecture extensions deferred to follow-up work