Grouter：解耦路由与表示以加速混合专家模型训练
机器学习
2026-05-26 v2 人工智能
摘要
传统的混合专家 (MoE) 训练通常在没有任何结构先验条件的情况下进行，有效地要求模型同时训练专家权重 while 搜索巨大组合空间内最优路由策略。这会导致收敛缓慢 and training 稳定性差。本文引入 Grouter，一种一种预置路由方法，通过从 fully 训练的 MoE 模型中提炼高质量结构，作为目标模型的固定路由器。通过将结构优化从 weight 更新中解耦，Grouter 显著加快了 model 收敛的速度 and quality。为确保框架的通用性，我们还引入 expert folding 来适应 Grouter across 不同 model 配置 and expert tuning 来重新平衡不同数据分布下的 workload。此外，凭借预置路由提供的结构先验，我们可以实施针对性优化 to further 提升 training throughput。实验表明，Grouter 实现了卓越的 performance and efficiency which boosts pre-training data utilization by 4.28x and achieves up to 33.5% throughput acceleration， establishing preemptive routing as scalable MoE training 的 fundamental paradigm。我们公开发布代码 and 预训练 Grouter checkpoints at https://github.com/JimmyAwoe/Grouter。
引用
@article{arxiv.2603.06626,
title = {Grouter: Decoupling Routing from Representation for Accelerated MoE Training},
author = {Yuqi Xu and Rizhen Hu and Zihan Liu and Mou Sun and Kun Yuan},
journal= {arXiv preprint arXiv:2603.06626},
year = {2026}
}