面向结构化复杂任务的混合专家模型表达能力研究

混合专家网络在现代深度学习中展现出了卓越的效率。尽管取得了经验上的成功，但其建模复杂任务能力的理论基础仍缺乏深入理解。在这项工作中，我们系统地研究了 MoEs 在建模具有两种常见结构先验（低维性和稀疏性）的复杂任务时的表达能力。对于浅层 MoEs，我们证明它们可以有效地逼近支撑在低维流形上的函数，从而克服维度灾难。对于深层 MoEs，我们证明了具有 $E$ 个专家的 $\mathcal{O}(L)$ 层 MoEs 可以逼近包含 $E^L$ 个片段且具有组合稀疏性的分段函数，即它们可以表现出指数级数量的结构化任务。我们的分析揭示了 MoEs 中关键架构组件和超参数的作用，包括门控机制、专家网络、专家数量和层数，并为 MoE 变体提供了自然的建议。