PRILoRA：剪枝且秩递增的低秩适配

随着大型预训练语言模型（PLM）的激增，微调所有模型参数变得越来越低效，特别是在处理需要大量训练和存储成本的众多下游任务时。已有几种旨在实现参数高效微调（PEFT）的方法被提出。其中，低秩适配（LoRA）作为一种典型方法脱颖而出，它将可训练的秩分解矩阵引入每个目标模块。然而，LoRA 没有考虑各层重要性的差异。为了应对这些挑战，我们引入了 PRILoRA，它以递增的方式为每层线性分配不同的秩，并在整个训练过程中进行剪枝，同时考虑权重的瞬时幅度和任意给定层输入的累积统计量。我们通过在八个 GLUE 基准上的广泛实验验证了 PRILoRA 的有效性，创造了新的技术水平。