混合专家模型对特征噪声的鲁棒性
机器学习
2026-01-22 v1
摘要
尽管混合专家模型在实践上取得了成功，但 MoE 模型为何能超越纯参数缩放的稠密网络仍不清楚。我们研究了一个等参数机制，其中输入表现出潜在的模块化结构，但被特征噪声（即噪声内部激活的代理）所破坏。我们证明，稀疏专家激活起到了噪声过滤器的作用：与稠密估计器相比，MoE 在特征噪声下实现了更低的泛化误差、对扰动的鲁棒性提升以及更快的收敛速度。在合成数据和真实世界语言任务上的实证结果证实了这些理论见解，表明稀疏模块化计算带来了一致的鲁棒性和效率提升。
引用
@article{arxiv.2601.14792,
title = {Robustness of Mixtures of Experts to Feature Noise},
author = {Dong Sun and Rahul Nittala and Rebekka Burkholz},
journal= {arXiv preprint arXiv:2601.14792},
year = {2026}
}