MultiPruner：基础模型中的平衡结构移除
机器学习
2025-01-20 v1 人工智能
摘要
最近，针对大型预训练模型剪枝的最先进方法表明，在Transformer中无训练地移除非关键残差块对于减小模型尺寸是可行的，其结果优于以往的无训练剪枝方法。受这些发现的启发，我们扩展了BlockPruner（Zhong等人，2024），并提出了MultiPruner，这是一种剪枝方法，通过采用多维、迭代、细粒度的剪枝策略，超越了最近的无训练剪枝方法。在MultiPruner中，多维剪枝通过沿三个维度顺序压缩来恢复块剪枝模型的结构平衡：i) 残差块，ii) 多层感知器的通道，以及iii) 注意力头。与其他技术相比，该方案提高了下游任务的零样本准确率，同时提升了模型压缩比，产生的压缩模型具有更少的计算和内存需求。大量实验证明了所提出方法在各种大型预训练模型上的优势。代码和剪枝配置可在https://github.com/IntelLabs/Hardware-Aware-Automated-Machine-Learning获取。
引用
@article{arxiv.2501.09949,
title = {MultiPruner: Balanced Structure Removal in Foundation Models},
author = {J. Pablo Muñoz and Jinjie Yuan and Nilesh Jain},
journal= {arXiv preprint arXiv:2501.09949},
year = {2025}
}