比SVD更快、比SGD更聪明：OPLoRA交替更新
机器学习
2025-09-25 v1
摘要
低秩适应（LoRA）通过在冻结权重上学习低秩更新来进行微调，显著减少可训练参数和内存占用。然而，LoRA微调与基于低秩投影的完整训练（SVDLoRA）之间仍存差距，表明LoRA步骤可进一步改进。本研究提出OPLoRA，一种内存高效的优化器，通过将LoRA优化建模为可解释子问题并采用交替最小二乘更新高效求解，从而缩小这一差距。经验表明，仅需1-2次交替步骤即可几乎等价于截断SVD，无需构造完整矩阵。我们还将最近提出的LoRA预条件方法作为特例检索。OPLoRA支持动量项，通过保持低秩估计（使用相同子程序LoRSum计算步长），内存预算为LoRA参数的3倍（即与Adam相同）。我们还提出一种实验性缩放变体，采用K-FAC度量，可能感兴趣。跨线性任务、MNIST、CIFAR-100和RoBERTa-base（MNLI），OPLoRA在显著降低内存占用的同时，持续接近SVDLoRA的性能。
引用
@article{arxiv.2509.19977,
title = {Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update},
author = {Abdulla Jasem Almansoori and Maria Ivanova and Andrey Veprikov and Aleksandr Beznosikov and Samuel Horváth and Martin Takáč},
journal= {arXiv preprint arXiv:2509.19977},
year = {2025}
}
备注
12 pages, 2 figures, 1 table. Accepted to OPT 2025 Workshop