MOONSHOT：面向视觉模型和大语言模型的多目标剪枝框架
机器学习
2026-04-16 v1
摘要
权重剪枝是压缩大型神经网络的常见技术。我们聚焦于后训练一次性剪枝场景, 即在无重新训练的情况下压缩预训练模型。现有一次性剪枝方法通常仅优化单一目标, 如层级重构损失或训练损失的二阶 Taylor 近似。我们指出, 单一目标本身在不同架构和稀疏度水平下并非始终最有效。为此, 我们提出 MOONSHOT, 一个通用且灵活的框架, 将任何单目标剪枝方法扩展为多目标形式, 同时联合优化层级重构误差和训练损失的二阶 Taylor 近似。MOONSHOT 作为包装器嵌入现有剪枝算法之中。为在扩展至十亿参数模型的同时保持可扩展性, 我们提出了建模决策, 并引入一种高效计算逆 Hessian 的方法, 保持了最先进一次性剪枝器的效率。当与最先进的剪枝方法结合时, MOONSHOT 在 Llama-3.2 和 Llama-2 模型上, 可将 C4 perplexity 降低最高 32.6%, 在七个分类基准上提升零样本平均准确率最高 4.9 分。在视觉 Transformer 上, 它在 ImageNet-1k 上以 70% 稀疏度提升超过 5 分; 在 ResNet-50 上, 采用 90% 稀疏度可实现 4 分的准确率提升。
引用
@article{arxiv.2604.13287,
title = {MOONSHOT : A Framework for Multi-Objective Pruning of Vision and Large Language Models},
author = {Gabriel Afriat and Xiang Meng and Shibal Ibrahim and Hussein Hazimeh and Rahul Mazumder},
journal= {arXiv preprint arXiv:2604.13287},
year = {2026}
}