作为软聚类的混合专家模型：双重 Jacobian-PCA 谱几何视角

混合专家模型架构因其在效率与条件计算方面的优势被广泛使用，但其对学习函数与表示几何结构的影响仍知之甚少。我们通过几何视角研究MoE，将路由解释为向重叠的专家局部图表进行的软划分。我们引入了一种双重 Jacobian-PCA 谱探针，通过 Jacobian 奇异值谱分析局部函数几何，并通过路由隐藏状态的加权 PCA 分析表示几何。在具有精确 Jacobian 计算的受控 MLP-MoE 设置下，我们在匹配容量的条件下比较了稠密路由、Top-k 路由与全软路由。在不同的随机种子下，MoE 路由持续降低了局部敏感性：与稠密基线相比，专家局部 Jacobian 表现出更小的主奇异值与更快的谱衰减。加权 PCA 表明，专家局部表示将方差分布在更多的主方向上，表明其具有更高的有效秩。我们进一步观察到专家 Jacobian 之间的低对齐度，暗示其分解为低重叠的专家特定变换。路由锐度调节了这些效应：Top-k 路由产生更集中、更低秩的专家结构，而全软路由产生更宽泛、更高秩的表示。在3层 Transformer 与 WikiText 上的实验证实了其在自然语言上的曲率降低，并表明 Top-k 路由具有更低的跨专家对齐度。这些发现支持将 MoE 解释为函数空间的软划分，其在重新分配表示方差的同时平坦化了局部曲率，为专家扩展、幻觉减少与集成多样性提供了可检验的预测。