混合专家模型中的稀疏性与叠加
机器学习
2025-12-29 v2 人工智能
摘要
混合专家（MoE）模型已成为扩大大型语言模型的核心方法，但其与稠密网络的机制学差异仍鲜有了解。以往的工作探索了稠密模型如何使用叠加来表示超过维度的特征，以及叠加如何作为特征稀疏性和特征重要性的函数。MoE模型无法通过相同的视角进行机制解释。我们发现，特征稀疏性和特征重要性均不会导致离散相位变化，网络稀疏性（活跃专家比率）更能 characterize MoE。我们发展了新的度量标准来衡量跨专家的叠加。我们的发现表明，网络稀疏性更大的模型 exhibit 更大的单语义性。我们提出了一种基于单语义特征表示而非负载平衡的专家专业化新定义，表明专家在恰当初始化后自然地围绕连贯特征组合进行组织。这些结果表明，MoE中的网络稀疏性可能使模型在不牺牲性能的情况下更具可解释性，挑战了可解释性与能力根本处于对立观念。
引用
@article{arxiv.2510.23671,
title = {Sparsity and Superposition in Mixture of Experts},
author = {Marmik Chaudhari and Jeremi Nuer and Rome Thorstenson},
journal= {arXiv preprint arXiv:2510.23671},
year = {2025}
}