Grassmannian Mixture-of-Experts：流形上的浓度控制路由

Mixture-of-Experts模型依赖于学习路由器来分配token到专家，但标准softmax门控机制无法原则性地控制稀疏性与资源利用之间的权衡。我们提出了Grassmannian MoE (GrMoE)，一种在子空间流形上运行的路由框架，路由权重来源于矩阵Bingham分布的浓度参数。这一构建方式产生一个可解释的旋钮——浓度矩阵$\Lambda$——连续控制路由熵，取代离散的top-$k$选择，实现平滑且几何原则化的稀疏性机制。我们进一步开发了用于后验路由分布的 amortized变分推断程序，实现不确定性感知的专家分配，自然抵抗专家崩溃。我们形式化证明了紧密的上界，将Bingham浓度谱与路由熵、预期top-$k$质量以及专家崩溃的指数界联系起来，建立了浓度控制稀疏性的第一个正式理论。在合成路由任务中，参数为3.5亿的MoE语言模型（8个专家）、13亿参数模型（16个专家）和27亿参数模型（32个专家）均实现0%路由崩溃，性能相当或更好，负载平衡提升15-30%，且浓度与有效稀疏性之间呈现平滑的单调关系，使无需重新训练即可进行事后稀疏性调谐。token级别分析揭示，专家学习到不同的浓度值，这些值与语言专化相关，提供了可解释的路由行为。