专家混合模型的收敛速率
统计理论
2011-11-02 v2 统计方法学
机器学习
统计理论
摘要
在专家混合（ME）模型中，多个子模型（专家）被组合在一起，存在两个长期存在的问题：(i) 给定训练数据的大小，应选择多少个专家？(ii) 给定参数总数，是使用少数非常复杂的专家更好，还是组合许多简单的专家更好？在本文中，我们试图通过对一种 ME 结构进行理论研究来为这些问题提供一些见解，该结构中混合了 个专家，每个专家关联一个 阶多项式回归模型。我们研究了最大似然估计量（MLE）的收敛速率，即随着样本量 的增加，估计密度的 Kullback-Leibler 散度收敛到真实密度的速度。研究发现收敛速率同时依赖于 和 ，且 和 的某些选择能产生最优收敛速率。因此，这些结果为上述两个重要问题提供了启示：如何选择 ，以及为了获得良好的收敛速率， 和 应如何权衡。
引用
@article{arxiv.1110.2058,
title = {Convergence Rates for Mixture-of-Experts},
author = {Eduardo F. Mendes and Wenxin Jiang},
journal= {arXiv preprint arXiv:1110.2058},
year = {2011}
}