ScaLoRA：高效高秩微调的最优缩放低秩适配
机器学习
2026-05-15 v2
摘要
随着大型语言模型（LLM）规模不断扩大，计算开销已成为任务特定微调的主要瓶颈。虽然低秩适配（LoRA）通过将权重更新限制在低维子空间来有效降低此开销，但这种限制可能削弱效果并减慢收敛速度。本文通过累积连续低秩增量来形成高秩权重更新，从而克服上述局限。具体而言，识别最小化损失函数并严格逼近完整微调的每个更新的最优低秩矩阵。为实现高效且无缝的优化而无需重新初始化，该最优选择通过适当缩放原始低秩矩阵的列数而得。严格的性能保证表明，最优缩放可解析求解。大量数值测试表明，在规模可达120亿参数的流行 LLM 上，相较于最先进的 LoRA 变体，在包括自然语言理解、常识推理和数学问题解决等多项任务上，ScaLoRA 均实现持续的性能提升并实现快速收敛。
引用
@article{arxiv.2510.23818,
title = {ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning},
author = {Yilang Zhang and Xiaodong Yang and Yiwei Cai and Georgios B. Giannakis},
journal= {arXiv preprint arXiv:2510.23818},
year = {2026}
}
备注
Accepted to ICML 2026