零阶自适应神经元对齐剪枝：无需重新训练
机器学习
2025-11-11 v4 人工智能
计算与语言
摘要
网络剪枝旨在通过移除部分参数来降低模型计算成本，同时对性能影响最小。过去十年中，最广泛使用的剪枝范式是剪枝后重新训练，但由于预训练模型数量庞大且重新训练成本过高，这一范式如今已不便使用。在本文中，我们利用稠密预训练模型的功能信息，即其输入激活值，获得稀疏模型，使其激活值与相应稠密模型的激活值对齐最大化。因此，我们提出了 NeuroAl，一种可用于任何大语言模型（LLM）剪枝算法之上的“即插即用”算法，它调整块级和行级稀疏度，利用稠密模型及其稀疏版本的信息来最大化激活值间的“神经元对齐”。与现有方法不同，我们的方法能自适应地针对模型和目标稀疏度选择块级和行级稀疏率的最佳超参数，且无需重新训练。我们在四个 LLM 系列、三种稀疏度比率和十个语言任务（三个语言建模和七个零样本数据集）的约 300 个测试用例上测试了该方法，展示了其在性能-运行时间权衡方面持续优于最新的最先进方法。代码可在 https://github.com/eliacunegatti/NeuroAL 获取。
引用
@article{arxiv.2411.07066,
title = {Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training},
author = {Elia Cunegatti and Leonardo Lucio Custode and Giovanni Iacca},
journal= {arXiv preprint arXiv:2411.07066},
year = {2025}
}
备注
Published in Transactions on Machine Learning Research (TMLR)