混合聚类专家：推进指令微调中的专家专业化与泛化
机器学习
2025-09-16 v1
摘要
稀疏混合专家架构通过在不按比例增加计算成本的情况下有条件地激活子模块，已成为一种高度可扩展的解决方案。然而，提高专家专业化以增强性能和泛化能力仍然是 MoE 面临的挑战，尤其是在以显著的输入异构性为特征的指令微调场景中。在本工作中，我们提出了混合聚类专家通过双阶段路由机制来解决这一局限性。该机制的第一阶段基于序列级特征执行专家组路由，而第二阶段在组内的 token 级别激活 top- 专家。这种方法能够基于知识需求对异构输入进行有效划分，在保持 token 级路由优势的同时鼓励专家组专业化。我们在一组全面的基准上评估了 MoCE，证明了它相对于强基线的一致优越性及其增强的泛化能力。详细的分析进一步突显了 MoCE 的稳健性和有效性。
引用
@article{arxiv.2509.10513,
title = {Mixture-of-Clustered-Experts: Advancing Expert Specialization and Generalization in Instruction Tuning},
author = {Sugyeong Eo and Jungjun Lee and Chanjun Park and Heuiseok Lim},
journal= {arXiv preprint arXiv:2509.10513},
year = {2025}
}