从一般专家混合模型到量子神经网络的均值场极限
数学物理
2026-05-04 v2 机器学习
math.MP
概率论
摘要
本文研究通过在监督学习问题上训练的混合专家（Mixture of Experts, MoE）模型的参数演化行为。我们的主要结果在专家数量发散时建立了MoE的混沌传播。我们证明了其参数经验测度接近解决非线性连续方程的概率测度，并给出仅依赖于专家数量的显式收敛速率。我们将结果应用于由量子神经网络生成的MoE。
引用
@article{arxiv.2501.14660,
title = {Mean-field limit from general mixtures of experts to quantum neural networks},
author = {Anderson Melchor Hernandez and Davide Pastorello and Giacomo De Palma},
journal= {arXiv preprint arXiv:2501.14660},
year = {2026}
}