OASIS：用于内存高效训练的在线激活子空间学习
机器学习
2026-04-13 v1
摘要
训练大型语言模型（LLM）受到内存需求的限制，其中激活值占总内存占用很大一部分。现有方法通过低秩权重参数化或用于优化器状态的低秩梯度子空间来减少内存，而激活内存则通过架构修改或基于周期性更新投影的压缩方案来解决。我们提出OASIS，一种用于内存高效训练的在线激活子空间学习算法，它在训练过程中跟踪并持续更新一个低维激活子空间。中间激活值被投影到这个不断演化的子空间上，从而在不修改前向计算的情况下减少内存。不断演化的激活子空间诱导出低秩梯度表示，使得梯度和优化器状态都可以直接在该子空间中维护，同时一个具有投影感知的优化器在子空间更新时一致地传输优化器状态，以实现稳定训练。在各种微调和预训练任务中，OASIS的峰值内存比全微调低达2倍，同时性能匹配，并优于先前的低秩方法。
引用
@article{arxiv.2604.09406,
title = {OASIS: Online Activation Subspace Learning for Memory-Efficient Training},
author = {Sakshi Choudhary and Utkarsh Saxena and Kaushik Roy},
journal= {arXiv preprint arXiv:2604.09406},
year = {2026}
}