面向低资源生成的自适应 LoRA 合并与参数剪枝
计算与语言
2025-06-02 v1 机器学习
摘要
本研究提出了一种简单而有效的 LoRA 合并方法，以实现 LLM 对低资源语言生成任务的适应。LoRA 合并技术集成了在不同任务上训练的多个 LoRA 模块，作为一种将 LLM 适应到目标任务的有效且高效的方法而受到关注。然而，以往的方法由于保持 LoRA 参数冻结，其适应性受到限制。此外，低资源问题也不在其研究范围内。我们提出了一种 LoRA 合并方法，该方法通过使用最少的目标任务数据进行微调来更新和剪枝 LoRA 参数，从而允许对 LoRA 参数进行更细粒度的调整并增强任务适应性。以摘要生成作为基准任务进行了广泛的实验。我们的数据集涵盖了多个领域以及英语和日语等多种语言。结果证实，所提出的方法在任务适应性方面比以往方法取得了显著且一致的改进。
引用
@article{arxiv.2505.24174,
title = {Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation},
author = {Ryota Miyano and Yuki Arase},
journal= {arXiv preprint arXiv:2505.24174},
year = {2025}
}
备注
Accepted at ACL2025 Findings