用于微调基础模型的黎曼预条件 LoRA

低秩自适应作为一种流行的参数高效微调（PEFT）方法，提出冻结预训练模型权重并更新一个可加的低秩可训练矩阵。在本工作中，我们通过在每个梯度步中引入一个 $r \times r$ 的预条件矩阵来研究 LoRA 训练的增强，其中 $r$ 为 LoRA 秩。我们在理论上验证了所提出的预条件矩阵在无限宽度神经网络设置下能够稳定 LoRA 的特征学习。在经验上，实现这种新预条件矩阵只需对现有的优化器代码做微小改动，且产生几乎微不足道的存储和运行时开销。我们在大语言模型和文本到图像扩散模型上的实验结果表明，有了这种新预条件矩阵，SGD 和 AdamW 的收敛性和可靠性可以得到显著提升。此外，训练过程对超参数选择（如学习率）的鲁棒性大大增强。这种新预条件矩阵可以从低秩矩阵场中的一种新颖黎曼度量推导出来。代码可在 https://github.com/pilancilab/Riemannian_Preconditioned_LoRA 获取。