基于谱聚类的深度Mixture of Experts架构稳定性与模块化路由
机器学习
2026-01-08 v1 人工智能
摘要
Mixture of Experts(MoE)架构能够实现神经网络的高效扩展，但 suffer 从专家崩溃问题，即路由收敛到少数主导专家。这会降低模型容量并在适应期间引起灾难性干扰。我们提出了谱正则化Mixture of Experts(SR-MoE)，通过对路由流形施加几何约束来实现结构模块化。我们的方法采用双重正则化：谱范数约束限制路由函数的Lipschitz连续性，而稳定秩惩罚保持专家选择中高维特征的多样性。我们在不同架构规模和数据集复杂度上使用模块化一次性适应任务评估了SR-MoE。结果表明，传统线性门控在深度增加时会失败（由于专家交织导致准确率下降最高可达4.72%），而SR-MoE保持结构完整性（平均干扰为-0.32%）。我们的谱聚类促进了正向知识传递，使专家更新能够在不发生全球性能衰减的情况下实现局部。SR-MoE为构建高容量、模块化网络以实现稳定的终身学习提供了通用解决方案。
引用
@article{arxiv.2601.03889,
title = {Spectral Manifold Regularization for Stable and Modular Routing in Deep MoE Architectures},
author = {Ibrahim Delibasoglu},
journal= {arXiv preprint arXiv:2601.03889},
year = {2026}
}