SVD-LLM：面向大语言模型压缩的截断感知奇异值分解
计算与语言
2025-03-18 v5 机器学习
摘要
大型语言模型（LLM）的进展因其庞大的规模而受到阻碍，这使得实际部署需要 LLM 压缩方法。奇异值分解（SVD）为 LLM 压缩提供了一个有前景的解决方案。然而，最先进的基于 SVD 的 LLM 压缩方法存在两个关键局限性：截断较小的奇异值可能导致更高的压缩损失，以及在 SVD 截断后缺乏对压缩权重的更新。在本工作中，我们提出了 SVD-LLM，这是一种基于 SVD 的训后 LLM 压缩方法，旨在解决现有方法的局限性。SVD-LLM Incorporates 一种截断感知数据白化技术，以确保奇异值与压缩损失之间的直接映射。此外，SVD-LLM 采用带有顺序低秩近似的参数更新，以补偿 SVD 压缩后的精度下降。我们在三个不同规模的三个不同 LLM 家族的七个模型和十个数据集上评估了 SVD-LLM。我们的结果证明了 SVD-LLM 优于最先进的方法，特别是在高模型压缩比下。我们的代码地址：https://github.com/AIoT-MLSys-Lab/SVD-LLM。
引用
@article{arxiv.2403.07378,
title = {SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression},
author = {Xin Wang and Yu Zheng and Zhongwei Wan and Mi Zhang},
journal= {arXiv preprint arXiv:2403.07378},
year = {2025}
}
备注
ICLR 2025; Code available at: https://github.com/AIoT-MLSys-Lab/SVD-LLM