DBES：评估大规模混合专家模型中专家专业化的系统基准与指标套件
机器学习
2026-05-19 v1 人工智能
摘要
混合专家（MoE）模型中的专家专业化仍 poorly 理解，传统评估将建构负载平衡与功能专业化混为一谈。我们引入 DBES，一个综合性诊断框架，结合多领域基准与五个理论依据的指标：路由专业化、归一化有效秩、领域隔离、路由刚性得分和 N-gram 专业化措施。关键发现表明，不同模型 exhibit 不同的专业化范式：Qwen 系列表现出模块化专业化，具有高域隔离；而 DeepSeek 和 GLM 则采用分布式协作。我们强调，专业化是诊断维度，必要但不充分以获得下游性能。最重要的是，干预性证据验证了这些指标的可操作性：通过使用 DBES 在特定领域的 post-training 中识别高专业化专家路径，我们实现了该领域中最高可达 94.48% 的专业化提升，仅使用原训练资源的 15%。该工作提供了首个独立于准确度指标的系统性专家专业化评估方法，为下一代 MoE 系统的设计和 post-training 优化提供了至关重要的见解。
引用
@article{arxiv.2605.18498,
title = {DBES: A Systematic Benchmark and Metric Suite for Evaluating Expert Specialization in Large-Scale MoEs},
author = {Jing Wang and Hongxuan Lu and Jazze Young and Shu Wang and Zhimin Xin},
journal= {arXiv preprint arXiv:2605.18498},
year = {2026}
}