SLEB：通过冗余验证与消除 Transformer 模块来精简大语言模型
计算与语言
2024-12-16 v6 机器学习
摘要
大语言模型 (LLMs) 已被证明在各种自然语言处理任务中非常有效。然而，它们庞大的参数量给实际部署带来了巨大挑战。剪枝是一种旨在减少 LLM 大小和复杂性的技术，通过移除网络中的冗余组件提供了一种潜在的解决方案。尽管剪枝前景广阔，但现有方法通常难以实现显著的端到端 LLM 推理加速。在本文中，我们介绍了 SLEB，一种旨在通过消除冗余 Transformer 模块来精简 LLM 的新方法。我们选择 Transformer 模块作为剪枝的基本单元，因为 LLM 表现出模块级的冗余，相邻模块的输出之间具有高度相似性。这一选择使我们能够有效提升 LLM 的处理速度。我们的实验结果表明，SLEB 在加速 LLM 推理方面优于以往的 LLM 剪枝方法，同时保持了优越的困惑度和准确性，使得 SLEB 成为提升 LLM 效率的一项有前景的技术。代码可在以下地址获取：https://github.com/jiwonsong-dev/SLEB。
引用
@article{arxiv.2402.09025,
title = {SLEB: Streamlining LLMs through Redundancy Verification and Elimination of Transformer Blocks},
author = {Jiwon Song and Kyungseok Oh and Taesu Kim and Hyungjun Kim and Yulhwa Kim and Jae-Joon Kim},
journal= {arXiv preprint arXiv:2402.09025},
year = {2024}
}
备注
ICML 2024