Light-PEFT：通过早期剪枝减轻参数高效微调

参数高效微调（PEFT）已成为大语言模型时代微调的主要技术。然而，现有的PEFT方法仍然存在训练效率不足的问题。首先，在训练过程中使用大规模基础模型对于某些微调任务来说过于冗余。其次，随着模型规模的增大，经验添加的PEFT模块中可训练参数的增长变得不可忽视且冗余，导致效率低下。为了实现任务特定的高效微调，我们提出了Light-PEFT框架，其中包括两种方法：基础模型的掩码早期剪枝和PEFT的多粒度早期剪枝。Light-PEFT框架允许在训练早期同时估计基础模型和PEFT模块中的冗余参数。然后可以剪枝这些参数以实现更高效的微调。我们在GLUE、SuperGLUE、QA任务以及多种模型上验证了我们的方法。使用Light-PEFT，基础模型的参数最多可剪枝超过40%，同时可训练参数仅控制在原始PEFT方法的25%。与直接使用PEFT方法相比，Light-PEFT实现了训练和推理加速，减少了内存使用，并保持了可比的性能以及PEFT的即插即用特性。