基于费米函数秩选择与规范固定的LLM全局优化SVD压缩
机器学习
2025-12-04 v1 机器学习
摘要
大语言模型（LLMs）在计算资源方面需求极高。通过奇异值分解（SVD）对LLM权重进行低秩分解，是LLM压缩的一种有前景的方法，但在实践中面临若干障碍，例如选择合适的层-wise秩以及消除其参数冗余。在本工作中，我们提出了两种受物理学启发的SVD LLM压缩改进方法：（1）**FermiGrad**，一种梯度下降算法，通过利用费米函数将离散的奇异值截断松弛为连续优化，从而确定全局最优的层-wise秩；（2）**PivGa**，一种额外的无损压缩低秩因子的方法，利用其参数化中的固有规范自由度。
引用
@article{arxiv.2512.03062,
title = {Globally optimized SVD compression of LLMs via Fermi-function-based rank selection and gauge fixing},
author = {Roman Rausch and David Jansen and Sukhbinder Singh and Román Orús},
journal= {arXiv preprint arXiv:2512.03062},
year = {2025}
}
备注
Prepared for submission to ESANN 2026