GMP*：调优良好的渐进幅度剪枝可优于多数 BERT 剪枝方法
计算与语言
2022-12-12 v3
摘要
我们重新审视经典渐进幅度剪枝（GMP）基线在大型语言模型上的性能，聚焦于各热门任务上的经典 BERT 基准。尽管文献中已有证据表明 GMP 表现不佳，我们展示了一个简单且通用的变体（称之为 GMP*）能够匹配且有时超越更复杂的 state-of-the-art 方法。我们的结果为未来工作提供了简单而强劲的基线，凸显了基线参数调优的重要性，甚至在此设定下提升了 state-of-the-art 二阶剪枝方法的性能。
引用
@article{arxiv.2210.06384,
title = {GMP*: Well-Tuned Gradual Magnitude Pruning Can Outperform Most BERT-Pruning Methods},
author = {Eldar Kurtic and Dan Alistarh},
journal= {arXiv preprint arXiv:2210.06384},
year = {2022}
}