MoRAL：用于大语言模型终身学习的 MoE 增强 LoRA
计算与语言
2024-02-20 v1 人工智能
摘要
适应大语言模型（LLMs）以新领域/任务并使其成为高效终身学习者是关键挑战。本文提出 MoRAL，即 Mixture-of-Experts 增强 Low-Rank Adaptation for Lifelong Learning。MoRAL 将 MoE 的多任务能力与 LoRA 的微调能力相结合，用于 LLMs 的有效终身学习。与常规方法依赖事实三元组作为输入不同，MoRAL 依赖简单的问题-答案对，这是更实用且高效的策略，以实现稳健高效的学习。鉴于新的数据设置，我们引入新的评估基准，即：大语言模型终身学习基准（5L-bench），包含新精选的问题-答案对数据集，以及用于严格评估 MoRAL 在开卷和闭卷设置下的评估指标。实验评估显示：(i) 在开卷设置下，LLMs 学习速度快，Phi-2-2.7B 相对于闭卷设置在“RA”上提升最高可达 30.15%；(ii) MoRAL 对参数更大的模型表现出更高的性能提升；(iii) MoRAL 对灾难性遗忘具有更强鲁棒性，知识保留能力优于基线方法。
引用
@article{arxiv.2402.11260,
title = {MoRAL: MoE Augmented LoRA for LLMs' Lifelong Learning},
author = {Shu Yang and Muhammad Asif Ali and Cheng-Long Wang and Lijie Hu and Di Wang},
journal= {arXiv preprint arXiv:2402.11260},
year = {2024}
}