当 MOE 遇见 LLM：面向多任务医疗应用的参数高效微调
计算与语言
2024-06-03 v2 人工智能
摘要
近期大语言模型（LLM）的兴起在众多领域引起了广泛关注。为使通用 LLM 适配特定领域（如基于网络的医疗系统），通常需要进行微调。然而，在针对医疗应用微调 LLM 时会出现两个问题。其一是任务多样性问题，涉及真实医疗场景中的不同任务。这种多样性常导致数据不平衡与跷跷板问题下的次优微调。此外，LLM 中大量的参数使得微调带来巨大的时间与计算消耗。为解决这两个问题，我们提出了一种面向多任务医疗应用的新型参数高效微调框架，称为 MOELoRA。该框架旨在兼取混合专家（MOE）用于多任务学习与低秩自适应（LoRA）用于参数高效微调二者之长。为统一 MOE 与 LoRA，我们设计多个专家作为可训练参数，其中每个专家由一对低秩矩阵组成以保有较小的可训练参数量。进而，提出一种面向所有 MOELoRA 层的任务驱动门控函数，可控制各专家的贡献并为不同任务生成差异化参数。我们在多任务医疗数据集上开展实验，表明 MOELoRA 优于现有的参数高效微调方法。代码已在线公开。
引用
@article{arxiv.2310.18339,
title = {When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications},
author = {Qidong Liu and Xian Wu and Xiangyu Zhao and Yuanshao Zhu and Derong Xu and Feng Tian and Yefeng Zheng},
journal= {arXiv preprint arXiv:2310.18339},
year = {2024}
}
备注
accepted by SIGIR'24