LoRA中基于双梯度投影的PEFT的GEM风格约束
机器学习
2026-01-07 v1 人工智能
摘要
大型语言模型(LLM)的全参数微调计算成本高昂，促使采用利用参数高效适配器的持续学习(CL)方法。我们重新审视Gradient Episodic Memory(GEM)在Low-Rank Adapter(LoRA)子空间中的应用，提出I-GEM：一种固定预算、GPU驻留的双投影梯度近似GEM的二次投影。通过仅在适配器参数上约束非干扰，I-GEM保留了GEM样样稳定性，同时将平均投影开销降低数个数量级。在3个任务AG新闻分割上实现域漂移，使用GPT-2(355M)和LoRA(r=8)，I-GEM在平均准确率上与GEM相当(相差~0.04分)，并超过A-GEM ~1.4分。关键的是，它将投影时间相对于GEM缩短约10^3倍。这些结果表明，在LoRA子空间中应用GEM约束是实现LLM规模持续学习的实用路径。
引用
@article{arxiv.2601.02500,
title = {GEM-Style Constraints for PEFT with Dual Gradient Projection in LoRA},
author = {Brian Tekmen and Jason Yin and Qianqian Tong},
journal= {arXiv preprint arXiv:2601.02500},
year = {2026}
}
备注
Work accepted to the NSF REU Symposium at the 2025 IEEE International Conference on Data Mining (ICDM). Correspondence to: [email protected]