借助专家智慧：软路由混合专家特征学习动力学的可证明收敛性
机器学习
2025-10-09 v1 最优化与控制
摘要
混合专家(MoE)架构已成为现代人工智能系统的基石。MoE 通过动态将输入路由到专用专家，并通过加权求和聚合专家输出。尽管其应用广泛，但关于 MoE 训练动力学的理论认识仍有限，仅能分别分析专家-路由器优化或仅涉及 carefully 构造数据集的 top-1路由情形。本文通过提供在学生-教师框架下，对软路由 MoE 模型（包括非线性路由器和专家）联合训练的收敛保证，推进了 MoE 理论。我们证明，在适度的过参数化条件下，学生网络经历特征学习阶段，即路由器的学习过程被“引导”由专家掌控，能够恢复教师的模型参数。此外，我们表明后训练修剪可有效消除冗余神经元，随后进行的可证明收敛的微调可达到全局最优。据我们所知，本文分析是首次为 MoE 架构的优化景观提供新见解。
引用
@article{arxiv.2510.07205,
title = {Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts},
author = {Fangshuo Liao and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:2510.07205},
year = {2025}
}