LoRMA：面向大语言模型的低秩乘性适应
计算与语言
2025-06-10 v1 人工智能
机器学习
摘要
大语言模型在自然语言处理领域展现出惊人的能力，其有效性主要归因于其能够适应各种下游任务。然而，通常情况下，完整微调是一项计算成本高昂的工作。为缓解这一问题，已develop 了许多技术，突出的是低秩适应（LoRA）。然而，LoRA 及其变体采用重参数化的加法更新。在本文中，我们提出了低秩乘性适应（LoRMA），将加法更新的范式转变为更丰富的矩阵乘法变换空间。我们通过有效地重新排序运算并引入秩膨胀策略来解决矩阵乘法的计算复杂度和秩瓶颈问题。我们进行了大量实验，以证明该方法在各种评估指标上的有效性。
引用
@article{arxiv.2506.07621,
title = {LoRMA: Low-Rank Multiplicative Adaptation for LLMs},
author = {Harsh Bihany and Shubham Patel and Ashutosh Modi},
journal= {arXiv preprint arXiv:2506.07621},
year = {2025}
}
备注
Accepted at ACL Findings 2025; 21 pages (9 main paper + 5 pages references + 7 pages appendix)