Mixture-of-LoRAs：一种高效的大语言模型多任务微调方法
计算与语言
2024-03-07 v1 人工智能
摘要
指令微调（Instruction Tuning）具有激发或增强大语言模型（LLMs）特定能力的潜力。然而，实现恰当的数据平衡对于防止灾难性遗忘和任务间干扰至关重要。为解决这些局限性并提升训练灵活性，我们提出了 Mixture-of-LoRAs (MoA) 架构，这是一种专为 LLMs 多任务学习设计的新型参数高效微调方法。在本文中，我们首先利用相应的监督语料数据独立训练多个领域特定的 LoRA 模块。这些 LoRA 模块可以与混合专家（Mixture-of-Experts, MoE）中观察到的专家设计原则相对齐。随后，我们结合显式路由策略整合多个 LoRA，并引入领域标签以辅助多任务学习，这有助于防止任务间干扰并最终提升各独立任务的性能。此外，每个 LoRA 模型均可迭代适配至新领域，从而实现快速的领域特定适配。在多样化任务上的实验证明了其优越且鲁棒性能，这将进一步促进领域特定 LLMs 的广泛应用。
引用
@article{arxiv.2403.03432,
title = {Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models},
author = {Wenfeng Feng and Chuzhan Hao and Yuewei Zhang and Yu Han and Hao Wang},
journal= {arXiv preprint arXiv:2403.03432},
year = {2024}
}
备注
10 pages, COLING24 Accepted