DipSVD：用于高效 LLM 压缩的双重要性保护 SVD
机器学习
2025-06-26 v1 人工智能
摘要
大型语言模型 (LLM) 的计算需求日益增长，部署成本也随之上升，催生了众多压缩方法。相对于量化和非结构化剪枝，SVD 压缩在硬件兼容性和理论保证方面具有优势。然而，现有基于 SVD 的方法关注原始矩阵与压缩矩阵之间的整体差异，忽略了矩阵中关键组件的保护，导致压缩后模型性能不佳。本文提出了一种双层重要性保护机制，以增强基于 SVD 的压缩方法：(1) 局部重要性保护：通过通道加权数据白化，保留每个权重矩阵中最关键的奇异向量；(2) 全局重要性保护：通过启发式方法或优化方法，使较不重要的层承担更多压缩负担，从而最小化压缩对关键层的影响。广泛的实验表明，DipSVD 在多个基准测试中优于现有的基于 SVD 的压缩方法，尤其在高模型压缩比例下表现出卓越的模型性能。
引用
@article{arxiv.2506.20353,
title = {DipSVD: Dual-importance Protected SVD for Efficient LLM Compression},
author = {Xuan Ding and Rui Sun and Yunjian Zhang and Xiu Yan and Yueqi Zhou and Kaihao Huang and Suzhong Fu and Chuanlong Xie and Yao Zhu},
journal= {arXiv preprint arXiv:2506.20353},
year = {2025}
}