MeteoRA：面向大语言模型的多任务嵌入式 LoRA
计算与语言
2024-10-10 v3 人工智能
摘要
预训练加微调范式是将大语言模型（LLM）部署到各种下游应用的基础。在此框架内，低秩微调（LoRA）因其参数高效微调（PEFT）特性而脱颖而出，可生成大量可复用的任务特定 LoRA 适配器。然而，该方法需要显式的任务意图选择，当单个 LLM 中嵌入多个现有 LoRA 适配器时，对推理过程中的自主任务感知与切换提出了挑战。在本研究中，我们提出了 MeteoRA（多任务嵌入式 LoRA），这是一个可扩展且高效的框架，通过全模态混合专家架构将多个任务特定的 LoRA 适配器复用到基础 LLM 中。该框架还包含新颖的 MoE 前向加速策略，以解决传统 MoE 实现的效率挑战。我们的评估使用通过 MeteoRA 配备了 28 个现有 LoRA 适配器的 LlaMA2-13B 和 LlaMA3-8B 基础模型，表明其性能与传统 PEFT 方法相当。此外，配备 MeteoRA 的 LLM 在处理复合任务时取得了卓越的性能，能够在单次推理中解决十个连续问题，从而证明了该框架在及时切换适配器方面的增强能力。
引用
@article{arxiv.2405.13053,
title = {MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models},
author = {Jingwei Xu and Junyu Lai and Yunpeng Huang},
journal= {arXiv preprint arXiv:2405.13053},
year = {2024}
}
备注
26 pages