迈向对 MoE 设计选择的实证理解
机器学习
2024-02-21 v1 人工智能
计算与语言
摘要
在本研究中，我们系统评估了混合专家模型（MoEs）中常见设计选择对验证性能的影响，揭示了在 token 和序列层面上的不同影响。我们还提供了实证证据，表明学习到的 router 与冻结的、随机初始化的 router 之间性能相当，这表明学习到的路由可能并非必不可少。我们的研究进一步揭示，序列级路由可能导致特定主题的弱专家专业化，这与 token 级路由观察到的语法专业化形成对比。
引用
@article{arxiv.2402.13089,
title = {Towards an empirical understanding of MoE design choices},
author = {Dongyang Fan and Bettina Messmer and Martin Jaggi},
journal= {arXiv preprint arXiv:2402.13089},
year = {2024}
}