LCSB：面向内存高效设备端 LLM 微调的层循环选择性反向传播
机器学习
2026-02-16 v1 计算与语言
摘要
内存高效反向传播（MeBP）已使大语言模型（LLM）能在内存不足 1GB 的移动设备上进行一阶微调。然而，MeBP 在每一步都需要遍历所有转换层进行反向计算，其中权重解压alone占据反向耗时的 32--42%。我们提出层循环选择性反向传播（LCSB），仅在每一步计算部分层的梯度。我们的关键洞察是，残差连接保证了通过恒等路径的梯度传递，而 AdamW 动量为非选中层提供隐式更新。我们将 LCSB 解释为 LoRA 参数空间上的块坐标下降，提供收敛的理论依据。LCSB 在五个模型和三个任务上实现最高可达 1.40倍的加速，质量损失不足 2%。意外地，在 4 位量化设置下，LCSB 表现出更好的稳定性：一个 3B 模型在完全反向传播下会完全发散，而使用 LCSB 可平滑收敛，表明选择性梯度计算具有隐式正则化效应。
引用
@article{arxiv.2602.13073,
title = {LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning},
author = {Juneyoung Park and Eunbeen Yoon and Seongwan Kim. Jaeho Lee},
journal= {arXiv preprint arXiv:2602.13073},
year = {2026}
}
备注
Under the review, 13 pages