多义专家、单义路径：在Mixture-of-Experts中的路由控制
人工智能
2026-04-21 v1 计算与语言
机器学习
摘要
LLM的残差流既是状态也是指令：它编码当前上下文并决定下一转换。我们引入一种无参数分解，用于Mixture-of-Experts模型，将每个层的隐藏状态分为一个控制信号（ causally驱动路由）和一个对路由器不可见的正交内容通道。跨越六种MoE架构，我们发现模型在内容通道中保留了表面特征（语言、token身份、位置），而控制信号编码一种在层间旋转的抽象函数。由于每个路由决策是低带宽，这种交接迫使跨层的组合性专门化。尽管individual专家仍保持多义，expert路径却变为单义，围绕语义功能跨语言和表面形式聚类token。相同token(例如“：”）的轨迹取决于其功能：是类型注释、介绍性冒号，还是时间分隔符。我们的分解识别了这种结构的来源：控制子空间中的簇显著单义于完整表示中的簇。结果而言，MoE中天然的可解释性单位不是expert而是轨迹。
引用
@article{arxiv.2604.17837,
title = {Polysemantic Experts, Monosemantic Paths: Routing as Control in MoEs},
author = {Charles Ye and Bo Yuan and Lee Sharkey},
journal= {arXiv preprint arXiv:2604.17837},
year = {2026}
}