面向专业通用模型: 基于 MoE-LoRA 的多任务医学专用 LLM 适配框架
机器学习
2026-01-14 v1 人工智能
计算与语言
摘要
大型语言模型 (LLM) 的快速演化正将注意力从通用能力转向领域特定的专业知识。然而，针对医学等专业领域适配 LLM 存在两个挑战: (1) "稳定性-塑性困境"，即模型必须获取复杂的临床知识而不致于忘却一般世界知识; (2) "任务干扰"，即如医学诊断、报告摘要和药物-药物相互作用预测等不同子任务会竞争有限的低秩参数空间。本文提出 Med-MoE-LoRA，一种新型框架，将混合专家 (MoE) 与低秩适配 (LoRA) 集成，以实现针对医学场景的高效多任务领域适配。我们受最新进展的启发，采用其中对称的专家分布，其中更深的层配备更高密度的 LoRA 专家，以捕获复杂语义抽象。我们进一步引入受 LoRA MoE 启发的"知识保留插件"，以隔离和保护通用推理。通过利用软合并与自适应路由以及秩级解耦，Med-MoE-LoRA 在医学基准测试中实现卓越的性能，同时减少干扰。实验结果表明，我们的方法在多个临床 NLP 任务中 consistently 超越标准 LoRA 和传统 MoE 架构，同时保留了模型的通用认知能力。
引用
@article{arxiv.2601.07935,
title = {Towards Specialized Generalists: A Multi-Task MoE-LoRA Framework for Domain-Specific LLM Adaptation},
author = {Yuxin Yang and Aoxiong Zeng and Xiangquan Yang},
journal= {arXiv preprint arXiv:2601.07935},
year = {2026}
}
备注
Work in Progress