中文

有限混合模型中多类型参数的可识别性与最优收敛速率

统计理论 2015-01-13 v1 机器学习 统计理论

摘要

本文研究有限混合中多类型参数的可识别性和收敛行为,以及使用额外混合分量进行模型拟合的影响。首先,我们提出了一个强可识别性的一般理论,该理论从 Nguyen [2013] 和 Chen [1995] 的先前工作扩展而来,以解决广泛的混合模型并处理矩阵变量参数。这些模型被证明在混合分布空间上共享基于 Wasserstein 距离的最优收敛速率——精确拟合下在 W1W_1 下为 n1/2n^{-1/2},过拟合设置下在 W2W_2 下为 n1/4n^{-1/4},其中 nn 为样本量。然而,该理论不适用于几个重要的模型类,包括位置-尺度多元高斯混合、形状-尺度 Gamma 混合和位置-尺度-形状偏正态混合。本工作的第二部分致力于证明对于这些“弱可识别”类,密度族的代数结构在决定模型参数的收敛速率方面起着根本作用,这显示出非常丰富的行为谱。例如,过拟合的位置-协方差高斯混合中参数估计的最优速率由可解多项式方程组的阶精确确定——随着向模型添加更多额外分量,这些速率迅速恶化。所建立的各种设置的速率通过模拟研究加以说明。

关键词

引用

@article{arxiv.1501.02497,
  title  = {Identifiability and optimal rates of convergence for parameters of multiple types in finite mixtures},
  author = {Nhat Ho and XuanLong Nguyen},
  journal= {arXiv preprint arXiv:1501.02497},
  year   = {2015}
}

备注

95 pages, 17 figures, Technical report 536, Department of Statistics, University of Michigan, Ann Arbor