LoRAMoE：通过 MoE 风格插件缓解大型语言模型中的世界知识遗忘
计算与语言
2024-03-11 v4
摘要
监督微调（SFT）是大型语言模型（LLM）的关键步骤，使其能够与人类指令对齐并增强其在下游任务中的能力。大幅增加指令数据是使模型与更广泛的下游任务对齐或显著提升其在特定任务上表现的直接解决方案。然而，我们发现，大规模增加指令数据会损害 LLM 中先前存储的世界知识。为应对这一挑战，我们提出了 LoRAMoE，这是一个引入多个低秩适配器（LoRA）并通过路由网络将其集成的新颖框架，类似于 Mixture of Experts（MoE）的插件版本。它冻结主干模型，并迫使部分 LoRA 专注于利用世界知识解决下游任务，以缓解世界知识边缘遗忘。实验结果表明，随着指令数据的增加，LoRAMoE 能够显著提升处理下游任务的能力，同时保持 LLM 中存储的世界知识。
引用
@article{arxiv.2312.09979,
title = {LoRAMoE: Alleviate World Knowledge Forgetting in Large Language Models via MoE-Style Plugin},
author = {Shihan Dou and Enyu Zhou and Yan Liu and Songyang Gao and Jun Zhao and Wei Shen and Yuhao Zhou and Zhiheng Xi and Xiao Wang and Xiaoran Fan and Shiliang Pu and Jiang Zhu and Rui Zheng and Tao Gui and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2312.09979},
year = {2024}
}
备注
14 pages, 7 figures