Dobi-SVD：用于LLM压缩的可微奇异值分解及新视角
机器学习
2025-02-06 v1
摘要
我们通过奇异值分解（SVD）提供了一种新的LLM压缩方案，为超越量化和剪枝的LLM压缩开辟了新的可能性。我们指出，SVD的最佳应用在于截断激活值，而不仅仅是将其用作优化距离。基于这一原则，我们解决了基于SVD的LLM压缩中的三个关键挑战：（1）如何为LLM中的每个权重矩阵确定最佳的激活截断位置？（2）如何基于截断的激活值高效地重建权重矩阵？（3）如何解决SVD固有的“注入”特性所导致的信息损失问题？我们提出了Dobi-SVD，为基于SVD的LLM压缩建立了一种新的、有原则的方法。
引用
@article{arxiv.2502.02723,
title = {Dobi-SVD: Differentiable SVD for LLM Compression and Some New Perspectives},
author = {Qinsi Wang and Jinghan Ke and Masayoshi Tomizuka and Yiran Chen and Kurt Keutzer and Chenfeng Xu},
journal= {arXiv preprint arXiv:2502.02723},
year = {2025}
}