AFLoRA：自适应冻结低秩适应在大模型参数高效微调中的应用

我们提出一种新型参数高效微调（PEFT）方法，称为自适应冻结低秩适应（AFLoRA）。具体而言，对于每个预训练冻结权重张量，我们添加一条可训练的低秩矩阵平行路径，称为下投影和上投影矩阵，每个矩阵后跟随一个特征转换向量。基于一种新颖的冻结评分，我们逐步冻结这些投影矩阵以减少计算量并缓解过拟合。我们的实验结果表明，我们可以在GLUE基准测试中实现最先进的性能，平均提升最高可达 $0.85\%$，同时平均可减少至原有的 $9.5\times$ 可训练参数。就运行时而言，AFLoRA 可相对于类似的 PEFT 方案实现最高 $1.86\times$ 的改进。除了本方法的实际实用性外，我们提供了对不同模块中LoRA路径可训练性要求以及不同投影矩阵冻结计划的洞见。代码将公开发布。