Basis Sharing：大型语言模型压缩的跨层参数共享
计算与语言
2024-10-08 v1 机器学习
摘要
大型语言模型（LLM）取得了显著突破，但其参数规模庞大，在推理过程中需要大量内存存储，限制了其在许多应用中的实际部署。为了减少 LLM 的内存存储，奇异值分解（SVD）为逼近压缩 LLM 的权重矩阵提供了可行方案。本文进一步探索了通过 SVD 实现跨不同层的参数共享，以更有效地压缩 LLM。具体而言，不同层的权重矩阵被分解表示为一组共享基向量与唯一系数的线性组合。本文考察了压缩 LLM 时权重矩阵类型以及基准共享的层选择，以维持性能。全面实验表明，Basis Sharing 在大压缩比率下超越了现有基于 SVD 的压缩方法和参数共享技术，尤其是在大压缩比率下效果更为显著。代码已公开：https://github.com/TUDa-HWAI/Basis_Sharing
引用
@article{arxiv.2410.03765,
title = {Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression},
author = {Jingcun Wang and Yu-Guang Chen and Ing-Chao Lin and Bing Li and Grace Li Zhang},
journal= {arXiv preprint arXiv:2410.03765},
year = {2024}
}