AutoLoRA：基于元学习自动调整低秩适应中的矩阵秩
计算与语言
2024-03-19 v2 人工智能
机器学习
摘要
大规模预训练加特定任务微调在各种NLP任务中取得了巨大成功。由于微调大型预训练模型的所有参数会带来巨大的计算和内存挑战，因此人们开发了多种高效微调方法。其中，低秩适应（LoRA）在冻结的预训练权重之上微调低秩增量更新矩阵，已被证明特别有效。尽管如此，LoRA在所有层上统一分配秩，并依赖穷举搜索来寻找最佳秩，导致计算成本高昂且微调性能次优。为了解决这些局限性，我们引入了AutoLoRA，这是一个基于元学习的框架，用于自动识别每个LoRA层的最佳秩。AutoLoRA将低秩更新矩阵中的每个秩1矩阵与一个选择变量相关联，该变量决定是否应丢弃该秩1矩阵。我们开发了一种基于元学习的方法来学习这些选择变量。通过对这些变量的值进行阈值处理来确定最佳秩。我们在自然语言理解、生成和序列标注上的综合实验证明了AutoLoRA的有效性。
引用
@article{arxiv.2403.09113,
title = {AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning},
author = {Ruiyi Zhang and Rushi Qiang and Sai Ashish Somayajula and Pengtao Xie},
journal= {arXiv preprint arXiv:2403.09113},
year = {2024}
}