揭示高斯专家混合中Softmax门控函数的奥秘
机器学习
2023-10-31 v2 机器学习
统计理论
统计理论
摘要
理解softmax门控高斯专家混合的参数估计一直是文献中一个长期未解决的问题。这主要是由于与softmax门控函数相关的三个基本理论挑战：(i) 仅能辨识至参数的平移；(ii) 高斯密度中softmax门控与专家函数之间通过偏微分方程的固有相互作用；(iii) softmax门控高斯专家混合的条件密度的分子与分母之间的复杂依赖。我们通过提出参数间新颖的Voronoi损失函数并建立最大似然估计器(MLE)在这些模型中求解参数估计的收敛速率来解决这些挑战。当真实专家数未知且被过指定时，我们的发现显示了MLE的收敛速率与多项式方程组的可解问题之间的联系。
引用
@article{arxiv.2305.03288,
title = {Demystifying Softmax Gating Function in Gaussian Mixture of Experts},
author = {Huy Nguyen and TrungTin Nguyen and Nhat Ho},
journal= {arXiv preprint arXiv:2305.03288},
year = {2023}
}
备注
29 pages, 3 figures