MoE-based LLMs 中是否存在领域特定专家？
计算与语言
2026-04-08 v1
摘要
在大语言模型 (LLMs) 时代，混合专家 (MoE) 架构已成为训练超大规模模型并提高计算效率的有效方法。这一成功建立在大量旨在增强 MoE-based LLMs 中专家专业化的先前研究之上。然而，此类专业化的本质以及如何对其进行系统性解读仍然是开放的研究挑战。本研究通过提出一个基本问题来填补这一空白：\textit{MoE-based LLMs 中是否存在领域特定专家？} 为回答该问题，我们评估了十种先进的 MoE-based LLMs，参数规模从 3.8B 到 120B 不等，并提供了领域特定专家存在的经验证据。基于这一发现，我们提出了\textbf{领域引导混合专家 (DSMoE)}，一种无需训练的框架，引入零额外推理成本，性能优于经过良好训练的 MoE-based LLMs 以及强基线，包括监督微调 (SFT)。在四个先进的开源 MoE-based LLMs 上针对目标领域和非目标领域的实验表明，我们的方法在无需增加推理成本或额外再训练的情况下取得了强劲的性能和鲁棒泛化能力。我们的实现在 https://github.com/giangdip2410/Domain-specific-Experts 公开发布。
引用
@article{arxiv.2604.05267,
title = {Do Domain-specific Experts exist in MoE-based LLMs?},
author = {Giang Do and Hung Le and Truyen Tran},
journal= {arXiv preprint arXiv:2604.05267},
year = {2026}
}
备注
15 pages