PoLAR：极分解的低秩适配器表示
机器学习
2025-11-03 v2 人工智能
信号处理
最优化与控制
摘要
我们证明大规模模型的低秩适应存在远低于子空间线性代数秩的低稳定秩，从而降低了微调性能。为缓解分配子空间的利用不足，我们提出了PoLAR，一种受极分解启发的参数化方法，将低秩更新分解为两个受限于Stiefel流形的方向矩阵和一个无约束的尺度矩阵。我们的理论表明PoLAR在典范低秩适应问题上实现了指数级更快的收敛速度。将该参数化与黎曼优化相结合，在三个不同基准上——测试通用语言理解、常识推理和数学问题求解——基础模型规模从350M到27B——均取得了持续的性能提升。
引用
@article{arxiv.2506.03133,
title = {PoLAR: Polar-Decomposed Low-Rank Adapter Representation},
author = {Kai Lion and Liang Zhang and Bingcong Li and Niao He},
journal= {arXiv preprint arXiv:2506.03133},
year = {2025}
}