RotMoLE：通过旋转门控机制提升低秩专家混合模型
机器学习
2026-05-26 v1 计算与语言
摘要
虽然大型语言模型（LLM）通常在应用于垂直领域应用前需要针对特定领域任务进行微调，但在面对具有多样化专业知识的复杂场景时，适应性仍然具有挑战性。与此同时，混合专家（MoE）架构已成为训练LLM的关键范式，一些近期研究还将MoE融入参数高效微调（PEFT），提出了低秩专家混合模型（MoE-LoRA），以增强低秩适配器学习复杂知识的能力。然而，MoE中的常规门控机制仅对所选专家进行标量重加权，从而限制了其表示和泛化能力的底层潜力。基于MoE-LoRA中低秩结构的优势，我们提出RotMoLE，一种面向低秩专家的专用MoE框架，具备额外的旋转门控。除了简单的缩放，RotMoLE为每个所选专家实现旋转机制，使其在学习多样化数据时能够更有效地利用和专业化专家，尤其在专家候选者有限时效果尤为显著。经典多任务和多语言训练场景的实验结果验证了我们的有效性。
引用
@article{arxiv.2605.25565,
title = {RotMoLE: Enhancing Mixture of Low-Rank Experts through Rotational Gating Mechanism},
author = {Mengyang Sun and Maochuan Dou and Tao Feng and Dan Zhang and Yihao Wang and Junpeng Liu and Yifan Zhu and Jie Tang},
journal= {arXiv preprint arXiv:2605.25565},
year = {2026}
}