无需重新训练地重建被剪枝模型

结构化剪枝是大型语言模型（LLM）的一种具有硬件友好特性的压缩技术，旨在实现无需重新训练的压缩，以避免巨大的重新训练成本。这种无需重新训练的范式涉及（1）用于定义网络结构的剪枝准则，以及（2）用于恢复性能的失真重构。然而，现有方法常强调剪枝准则，而使用的重构技术则针对特定模块或准则，导致可通用性有限。为此，我们引入了基于线性插值自适应重构（Linear Interpolation-based Adaptive Reconstruction, LIAR）框架，该框架既高效又有效。LIAR无需反向传播或重新训练，且与各种剪枝准则和模块兼容。通过对保留权重应用线性插值，LIAR最小化重构误差，有效恢复被剪枝后的输出。我们在GLUE、SQuAD、WikiText和常识推理等基准测试上的评估表明，LIAR使BERT模型在删除50%参数后仍能保持98%的准确率，并在仅用几分钟内实现LLaMA的最佳性能。