Mixture-of-Experts 专业化的几何度量：从 Fisher 信息到早期失效检测
人工智能
2026-04-17 v1
摘要
专家专业化是 Mixture-of-Experts (MoE) 模型成功的关键因素，但现有度量（余弦相似性、路由熵）缺乏理论依据，且在重新参数化下得出不一致的结论。我们提出了一种信息几何框架，为 MoE 专业化动力学提供首个严格表征。我们的关键洞察是，专家路由分布在配备 Fisher 信息度量的概率单纯形上演化，能够通过黎曼几何进行形式化分析。我们证明了标准启发式度量违反参数不变性（定理 1），确立了专业化对应于测地流并具有量化逼近界限（定理 2），并推导了一个具有理论阈值依据的失效预测器（定理 3）。该框架引入两种原则度量：Fisher 专业化指数 (FSI) 实现 r=0.91+/-0.02 的下游性能相关性，以及 Fisher 异质性得分 (FHS) 在训练完成 10% 时预测训练失效，AUC=0.89+/-0.03——在需要 40 倍计算周期的情况下，以 23% 的优势超过基于验证损失的早期停止。我们验证了在 FSI>1 时实现 87% 恢复率的干预协议。基于语言建模 (WikiText-103、C4)、视觉 MoE (ImageNet) 和规模研究 (8-64 位专家、125M-2.7B 参数) 的全面实验验证了我们的理论预测。
引用
@article{arxiv.2604.14500,
title = {Geometric Metrics for MoE Specialization: From Fisher Information to Early Failure Detection},
author = {Dongxin Guo and Jikun Wu and Siu Ming Yiu},
journal= {arXiv preprint arXiv:2604.14500},
year = {2026}
}
备注
6 pages, 2 figures, 7 tables