CoNNect：用于结构剪枝的基于连接性的正则化
机器学习
2025-06-16 v2
摘要
剪枝包含一系列旨在增加神经网络（NNs）稀疏性的技术。这些技术通常可以被框架化为在L0范数约束下最小化损失函数。本文介绍了CoNNect，一种用于稀疏神经网络训练的新型可微正则化器，它确保输入层和输出层之间的连接性。我们证明了CoNNect近似于L0正则化，保证了最大连接的网络结构，同时避免了层坍塌等问题。此外，CoNNect易于与现有的结构剪枝策略集成。数值实验表明，CoNNect可以改进经典的剪枝策略，并增强最先进的单次剪枝器，如DepGraph和LLM-pruner。
引用
@article{arxiv.2502.00744,
title = {CoNNect: Connectivity-Based Regularization for Structural Pruning},
author = {Christian Franssen and Jinyang Jiang and Yijie Peng and Bernd Heidergott},
journal= {arXiv preprint arXiv:2502.00744},
year = {2025}
}