通过辅助损失将专家与路由器在 Mixture-of-Experts 中耦合
计算与语言
2026-02-25 v2 机器学习
摘要
Mixture-of-Experts (MoE) 模型缺乏显式约束以确保路由器的决策与专家能力相吻合，从而最终限制了模型性能。为此，我们提出了 expert-router coupling (ERC) 损失，这是一种轻量级辅助损失，通过紧密耦合路由器的决策与专家能力。我们的ethods 将每个专家的路由嵌入视为分配给该专家的标记的代理标记，并将扰动后的路由嵌入输入专家以获得中间激活。ERC 损失对这些激活施加两个约束：(1) 每个专家必须对其自身的代理标记的激活值高于对任何其他专家代理标记的激活值。(2) 每个代理标记必须从其对应的专家那里引发更强的激活，而不是来自其他专家。这些约束共同确保每个路由嵌入忠实地代表其对应的专家能力，而每个专家专门处理实际路由给它的标记。ERC 损失计算高效，仅作用于 n² 个激活值，其中 n 为专家数量。这代表一种与批量大小无关的固定成本，而与 prior 耦合方法不同，后者随标记数量（通常每批可达数百万）而扩展。通过在 3B 到 15B 参数的 MoE-LLM 上进行预训练并对数千亿标记进行大量分析，我们展示了 ERC 损失的有效性。此外，ERC 损失提供了对训练期间专家专化程度的灵活控制和定量跟踪，为理解 MoE 提供了宝贵见解。
引用
@article{arxiv.2512.23447,
title = {Coupling Experts and Routers in Mixture-of-Experts via an Auxiliary Loss},
author = {Ang Lv and Jin Ma and Yiyuan Ma and Siyuan Qiao},
journal= {arXiv preprint arXiv:2512.23447},
year = {2026}
}
备注
ICLR 2026 Oral