基于LoRA的自适应共享专家混合专家模型用于多任务学习
计算机视觉与模式识别
2025-10-02 v1 人工智能
机器学习
摘要
混合专家（Mixture-of-Experts, MoE）已成为多任务学习（MTL）的强大框架。然而，现有的MoE-MTL方法常依赖单任务预训练主干网络，在从单任务学习（STL）向多任务学习（MTL）过渡过程中存在冗余适配和知识共享效率低下的问题。为此，我们提出一种基于低秩适应（LoRA）的MoE框架内的自适应共享专家（Adaptive Shared Experts, ASE），其中共享专家被分配由路由器计算的门控权重，这些权重与稀疏专家联合归一。该设计促进了STL到MTL的过渡，增强了专家的专业化和合作。进一步，我们通过增加LoRA专家的数量，但按比例降低其秩，从而引入细粒度专家，在相当相同的参数预算下实现更有效的知识共享。针对PASCAL-Context基准，在统一的训练设置下进行的大量实验表明，ASE在 diverse配置下均能一致提升性能，验证了细粒度设计在MTL中的有效性。
引用
@article{arxiv.2510.00570,
title = {Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning},
author = {Minghao Yang and Ren Togo and Guang Li and Takahiro Ogawa and Miki Haseyama},
journal= {arXiv preprint arXiv:2510.00570},
year = {2025}
}