CERSA: 用于内存高效微调的累积能量保留子空间适应
机器学习
2026-05-12 v1 人工智能
计算机视觉与模式识别
摘要
为了缓解微调大型预训练模型时的内存限制，现有的参数高效微调 (PEFT) 方法，如 LoRA，依赖于低秩更新。然而，此类更新未能完全捕捉全参数微调中观察到的权重修改的秩特性，从而导致性能差距。此外，LoRA 和其他现有 PEFT 方法仍然需要大量内存来存储完整的冻结权重集，限制了它们在资源受限环境中的效率。为了解决这些局限性，我们引入了累积能量保留子空间适应 (CERSA)，这是一种新颖的微调范式，利用奇异值分解 (SVD) 仅保留负责 90% 到 95% 谱能量的主成分。通过微调从这个主子空间导出的低秩表示，CERSA 显著降低了内存消耗。我们在不同规模和领域的模型上对 CERSA 进行了广泛评估，包括图像识别、文本到图像生成和自然语言理解。实证结果表明，CERSA 在实现显著更低内存需求的同时，始终优于最先进的 PEFT 方法。代码将公开发布。
引用
@article{arxiv.2605.08174,
title = {CERSA: Cumulative Energy-Retaining Subspace Adaptation for Memory-Efficient Fine-Tuning},
author = {Jingze Ge and Xue Geng and Yun Liu and Wanqi Dong and Wang Zhe Mark and Min Wu and Ngai-Man Cheung and Bharadwaj Veeravalli and Xulei Yang},
journal= {arXiv preprint arXiv:2605.08174},
year = {2026}
}
备注
10 pages, 7 figures, supplementary material included