PRAC：基于主成分-随机子空间的大语言模型激活压缩与高效训练
机器学习
2026-02-27 v1
摘要
激活值已成为大批量大语言模型训练中的主要内存瓶颈。然而，现有压缩方法未充分利用激活的谱结构，导致收敛缓慢或压缩效果有限。为此，我们构建了算法快速收敛与子空间投影需求之间的关系，表明有效的压缩应产生对原始激活的无偏估计且方差较小。我们提出主成分-随机子空间方法用于大语言模型激活压缩（PRAC），该方法新颖地将激活分解为两个组成部分：通过奇异值分解捕获主导信息的主子空间，以及从正交补中采样的随机子空间用于近似尾部。通过引入精确的缩放因子，我们证明在特定条件下，PRAC可得到无偏梯度估计器且方差最小。大量实验表明，在预训练和微调任务上，PRAC可实现最高36%的总内存降低，同时保持可忽略的性能下降和最小的计算开销。
引用
@article{arxiv.2602.23111,
title = {PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training},
author = {Yanyi Li and Yimu Zhang and Cong Fang},
journal= {arXiv preprint arXiv:2602.23111},
year = {2026}
}