SWSC：面向 LLM 的相似通道共享权重
机器学习
2025-01-16 v1 计算与语言
摘要
大语言模型(LLM)已在多个行业推动发展。然而，参数数量的增加带来了巨大的存储和计算负担，使得探索模型压缩技术以实现参数降低和更易部署至关重要。我们提出 SWSC，一种基于相似通道共享权重(Shared Weight for Similar Channel)的 LLM 压缩方法。它使用 K 均值聚类算法按通道聚类模型权重，生成每个聚类中高度相似向量的簇。从每个聚类中选择一个代表向量，用以近似替换簇中所有向量，从而显著减少模型权重参数。然而，近似恢复不可避免地会损伤模型性能。为解决此问题，我们对压缩前后权重误差进行奇异值分解(SVD)，保留较大的奇异值及其对应的奇异向量，以补偿精度。实验结果表明，我们的方法能够在低精度条件下有效保证压缩后 LLM 的性能。
引用
@article{arxiv.2501.08631,
title = {SWSC: Shared Weight for Similar Channel in LLM},
author = {Binrui Zeng and Yongtao Tang and Xiaodong Liu and Xiaopeng Li},
journal= {arXiv preprint arXiv:2501.08631},
year = {2025}
}
备注
5pages, 3 figures, work in progress