最优脑连接：高效结构剪枝之路
计算机视觉与模式识别
2025-08-08 v1
摘要
结构剪枝已被广泛研究，因其在压缩神经网络方面的有效性。然而，现有方法常常忽略参数之间的相互关联。为此，本文提出了一种结构剪枝框架，称为最优脑连接（Optimal Brain Connection）。首先，我们引入了雅可比准则，这是一种用于评估结构参数重要性的一阶度量标准。与现有一阶方法不同，后者在孤立地评估参数，而我们的准则显式地捕获了组件内的相互作用以及跨层的依赖关系。其次，我们提出了等效剪枝机制，该机制利用自编码器在微调期间保留所有原始连接——包括被剪枝的连接——的贡献。实验结果表明，雅可比准则在保持模型性能方面优于几种流行的度量标准，而等效剪枝机制有效地缓解了微调后性能下降的问题。
引用
@article{arxiv.2508.05521,
title = {Optimal Brain Connection: Towards Efficient Structural Pruning},
author = {Shaowu Chen and Wei Ma and Binhua Huang and Qingyuan Wang and Guoxin Wang and Weize Sun and Lei Huang and Deepu John},
journal= {arXiv preprint arXiv:2508.05521},
year = {2025}
}