SP^3：通过 PCA 投影增强结构化剪枝
计算与语言
2024-08-20 v3 人工智能
摘要
结构化剪枝是一种广泛使用的缩减预训练语言模型（PLM）规模的技术，但现有方法常忽视压缩 PLM 中隐藏维度（d）的潜力，该维度对模型规模与效率至关重要。本文提出一种新颖的结构化剪枝方法——基于 PCA 投影的结构化剪枝（SP3），其通过在掩码前将特征投影到由主成分定义的空间中，实现对 d 的有效缩减。在基准（GLUE 和 SQuAD）上的大量实验表明，SP3 能将 d 缩减 70%、压缩 BERTbase 模型 94% 的参数，保持超过 96% 的准确率，并在相同压缩比下比其它压缩 d 的方法准确率高出 6%。SP3 在其他模型（包括 OPT 和 Llama）上也证明有效。我们的数据与代码已在匿名仓库中提供。
引用
@article{arxiv.2308.16475,
title = {$\rm SP^3$: Enhancing Structured Pruning via PCA Projection},
author = {Yuxuan Hu and Jing Zhang and Zhe Zhao and Chen Zhao and Xiaodong Chen and Cuiping Li and Hong Chen},
journal= {arXiv preprint arXiv:2308.16475},
year = {2024}
}
备注
21 pages