基于块坐标下降的大规模语言和视觉模型可扩展迭代剪枝
机器学习
2024-11-28 v1 最优化与控制
量子物理
摘要
剪枝神经网络涉及删除其权重的部分比例，可在一定程度上保持高准确率，同时显著降低模型复杂度。我们提出了一种神经网络剪枝技术，基于 Combinatorial Brain Surgeon，但使用块坐标下降以子集网络权重迭代方式求解优化问题。这种剪枝技术的迭代、块式特性（我们将其称为“iterative Combinatorial Brain Surgeon”（iCBS））使其能够扩展至大型模型，包括大语言模型（LLM），而这些模型在单次组合优化方法中可能难以实现。应用于诸如 Mistral 和 DeiT 等大型模型时，iCBS 在相同稀密度水平下达到的性能指标高于现有剪枝方法如 Wanda。这表明了这种迭代、块式剪枝方法在压缩和优化大型深度学习模型性能方面的有效性，即便只针对少量权重进行优化。此外，我们的方法提供了一种质量-时间（或成本）权衡，单次剪枝方法无法提供。块式优化问题的表述使得可以使用硬件加速器，从而抵消与单次剪枝方法（如 Wanda）相比增加的计算成本。特别是，针对每个块求解的优化问题在本质上是量子可行的，理论上可由量子计算机求解。
引用
@article{arxiv.2411.17796,
title = {Scalable iterative pruning of large language and vision models using block coordinate descent},
author = {Gili Rosenberg and J. Kyle Brubaker and Martin J. A. Schuetz and Elton Yechao Zhu and Serdar Kadıoğlu and Sima E. Borujeni and Helmut G. Katzgraber},
journal= {arXiv preprint arXiv:2411.17796},
year = {2024}
}
备注
16 pages, 6 figures, 5 tables