几何路由实现混合专家模型中的因果专家控制

稀疏混合专家（MoE）模型通过固定每个 token 的激活计算来扩展参数规模，但单个专家的专化仍不透明。在前一篇论文中，我们展示了路由拓扑与质量无关：五种结构上不同的配置在统计上等价的语言建模质量上收敛。本文表明，专家身份仍具有因果意义：单个秩-1 专家按构造方式单语义，余弦相似度路由在低维度度量空间中使其专化直接可检验。我们提出了四个证据线索。第一，投影通过解嵌入矩阵得到语义字典：15% 的专家是单语义专家，涵盖 10 个类别（时间、地理、基数、篇章、情感、金融、军事、科学）。第二，路由显示频率到语法梯度：前层按词频分离 token，更深层按语法类别分离（使用 Zipf 控制，所有 p < 0.001）。第三，因果干预确认这些标签：引导至时间专家的质心可将 P(时间) 提升 321%（在 44 个提示中中位值）；抑制地理专家可将 P(地理) 下降 23%；改写专家的输出向量可使目标类别概率减半，效果在不同层之间可加性叠加。第四，干预不仅限于余弦路由：线性路由支持相当的引导，但只有余弦路由提供几何可视性——专家专化可直接从质心矩阵中读取。MoE 专家级专化是一种一级可解释性基元：结构上单语义、因果验证、在推理时零开销可控。