用于提高高稀疏性剪枝鲁棒性的权重集中正则化
机器学习
2026-05-18 v2 人工智能
摘要
深度神经网络在视觉和语言任务中实现了卓越的性能，但其庞大的参数数量限制了在资源受限的设置中部署。一次性剪枝可在不重新训练的情况下减小模型规模，但使用标准目标训练的模型在激进稀疏性下常出现显著的准确率下降。先前工作沿着两个方向缓解此降低：正则化方法如 和 DeepHoyer 在训练期间塑造权重分布，以及剪枝鲁棒优化器如 SAM、CrAM 和 SSAM 平滑损失景观。然而，现有正则化要么对所有权重统一缩小（），要么诱导出尺度不变稀疏（DeepHoyer），而无法将权重能量集中到少数具有信息含义的参数上。我们提出了权重集中正则化器（Weight Concentration Regularizer, WCR），这是一种在训练期间的正则化方法，放大少数参数的幅度，同时将其余参数驱动 toward zero，以便magnitude 剪枝主要删除功能贡献微不足道的参数。我们提供收敛分析，并在 LLM 微调、图像分类和医学分割上评估 WCR，证明在各种体系结构和与现有剪枝鲁棒优化器兼容性方面，WCR 在剪枝鲁棒性方面实现了持久的改进。
引用
@article{arxiv.2511.14282,
title = {Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity},
author = {Vincent-Daniel Yun and Junhyuk Jo and Sunwoo Lee},
journal= {arXiv preprint arXiv:2511.14282},
year = {2026}
}