面向边缘网络分布式混合专家训练的 Stable-MoE：基于 Lyapunov 的 token 路由
摘要
混合专家（MoE）模型的稀疏 activation mechanism 赋予了 edge intelligence 以提高训练效率和降低计算资源消耗的能力。然而，传统的 token routing 在分布式 MoE 训练中面临着在计算能力异构且 token 到达随机的 resource-constrained edge network 中显著挑战，这不可避免地导致 workload backlog、resource inefficiency 和 performance degradation。为此，我们提出一种 novel Lyapunov-based token routing framework，用于 resource-heterogeneous edge network 上的分布式 MoE 训练，称为 Stable-MoE。具体而言，我们 formulation 一个 stochastic optimization problem，以优化 token routing strategy 和 computational resource allocation，最大化 system throughput 和 gating consistency，同时确保 edge devices 上 token 和 energy 队列的 long-term stability。通过 Lyapunov optimization，我们将难以求解的 long-term optimization problem 转化为 tractable per-slot subproblems，通过 enable online decision-making of token routing and computation frequency utilization，而无需 knowledge of future system states。在 SVHN 和 CIFAR-100 数据集上的实验结果表明，Stable-MoE 在 system throughput 和 test accuracy 上分别比 baseline 至少提高了 40% 和 5%。
关键词
引用
@article{arxiv.2512.06784,
title = {Stable-MoE: Lyapunov-based Token Routing for Distributed Mixture-of-Experts Training over Edge Networks},
author = {Long Shi and Bingyan Ou and Kang Wei and Weihao Zhu and Zhe Wang and Zhiyong Chen},
journal= {arXiv preprint arXiv:2512.06784},
year = {2026}
}