OpenBA-V2：实现 77.3% 高压缩率的快速多阶段剪枝
计算与语言
2024-05-10 v1
摘要
大型语言模型（LLM）因其强大的能力在诸多领域发挥重要作用。然而，其庞大的参数数量导致高部署需求，造成显著的推理成本，阻碍了实际应用。训练更小的模型是有效解决方案。因此，我们引入 OpenBA-V2，这一源自原始 15B 参数 OpenBA 模型经多阶段压缩和持续预训练后得到的 3.4B 参数模型。OpenBA-V2 利用更多数据、更灵活的训练目标，以及层级剪枝、神经网络剪枝和词汇表剪枝等技术，实现 77.3% 的压缩率且性能损失最小。OpenBA-V2 在诸多方面表现出竞争力，常见推理和命名实体识别（NER）等下游任务中，成绩接近或与 15B OpenBA 模型持平。OpenBA-V2 说明，凭借先进的训练目标和数据策略，LLM 可压缩为更小的模型且性能损失最小，这可能有助于在资源受限的场景中部署 LLM。
引用
@article{arxiv.2405.05957,
title = {OpenBA-V2: Reaching 77.3% High Compression Ratio with Fast Multi-Stage Pruning},
author = {Dan Qiao and Yi Su and Pinzheng Wang and Jing Ye and Wenjing Xie and Yuechi Zhou and Yuyang Ding and Zecheng Tang and Jikai Wang and Yixin Ji and Yue Wang and Pei Guo and Zechen Sun and Zikang Zhang and Juntao Li and Pingfu Chao and Wenliang Chen and Guohong Fu and Guodong Zhou and Qiaoming Zhu and Min Zhang},
journal= {arXiv preprint arXiv:2405.05957},
year = {2024}
}