SAES-SVD：面向SVD压缩的大语言模型自适应抑制累积与局部误差
计算与语言
2026-02-04 v1
摘要
大语言模型（LLM）参数规模的快速增长催生了对高效压缩技术的迫切需求。作为一种硬件中立且高度兼容的技术，低秩压缩广受采纳。然而，现有方法通常独立地对各层进行压缩，通过最小化单层重构误差，忽视了一个关键限制：重构误差通过网络累积，导致与全精度基线之间的全局偏差被放大。为此，我们提出自适应误差抑制SVD（SAES-SVD），即一个联合优化层内重构与层间误差补偿的LLM压缩框架。SAES-SVD由两个新型组件构成：（1）累积误差感知层压缩（CEALC），将压缩目标形式化为局部重构与加权累积误差补偿的组合。基于此，我们推导出一种基于二阶激活统计的闭式低秩解，显式地将每层的输出与其全精度版本对齐，以补偿累积误差。（2）自适应协作误差抑制（ACES），自动调整加权系数以增强CEALC中压缩目标的低秩结构。具体而言，系数在固定秩下优化化以最大化压缩后层输出的弗罗贝尼乌斯范数与压缩目标之间的比值，从而确保秩预算被有效利用。跨多个LLM架构与任务的大量实验表明，在无需微调或混合秩策略的情况下，SAES-SVD持续改进后压缩性能。
引用
@article{arxiv.2602.03051,
title = {SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression},
author = {Xing Hu and Dawei Yang and Yuan Cheng and Zhixuan Chen and Zukang Xu},
journal= {arXiv preprint arXiv:2602.03051},
year = {2026}
}