SVD-LLM V2：针对大语言模型压缩优化奇异值截断
计算与语言
2025-03-18 v1
摘要
尽管取得了显著进展，但大语言模型（LLM）的实际部署常被其庞大规模所限制，凸显了有效压缩技术的需求。奇异值分解（SVD）是一种有前景的LLM压缩技术。然而，现有基于SVD的压缩方法在降低截断损失方面不足，导致压缩后模型性能不具竞争力。本文介绍SVD-LLM V2，这是一种优化SVD压缩中奇异值截断的基于SVD的LLM压缩方法，包含两项技术。首先，SVD-LLM V2提出利用权重矩阵的理论截断损失为不同层的每个权重矩阵分配唯一的压缩比，以适应权重冗余的异构性。其次，SVD-LLM V2提出损失优化权重截断，以确保截断的奇异值在实际操作中导致更低且更稳定的截断损失。我们在十个数据集和五个不同规模的LLM上评估了SVD-LLM V2。结果表明，SVD-LLM V2在压缩方法方面超越了现有最先进的基于SVD的技术。我们的代码已公开于 https://github.com/AIoT-MLSys-Lab/SVD-LLM
引用
@article{arxiv.2503.12340,
title = {SVD-LLM V2: Optimizing Singular Value Truncation for Large Language Model Compression},
author = {Xin Wang and Samiul Alam and Zhongwei Wan and Hui Shen and Mi Zhang},
journal= {arXiv preprint arXiv:2503.12340},
year = {2025}
}
备注
NAACL 2025; Code available at https://github.com/AIoT-MLSys-Lab/SVD-LLM