高维专家混合模型中基于惩罚模型选择的非渐近方法
统计理论
2022-09-29 v3 人工智能
机器学习
统计方法学
机器学习
统计理论
摘要
专家混合（MoE）是一类流行的统计与机器学习模型，因其灵活性与高效性多年来受到关注。在本工作中，我们考虑高斯门控局部化MoE（GLoME）和块对角协方差局部化MoE（BLoME）回归模型，以刻画异质数据中高维预测变量间潜在隐图结构交互作用下的非线性关系。这些模型从计算和理论角度都带来了困难的统计估计与模型选择问题。本文致力于在惩罚最大似然估计框架下，于一组由混合成分数目、高斯均值专家的复杂度以及协方差矩阵的隐块对角结构刻画的GLoME或BLoME模型中进行模型选择研究。特别地，我们建立了取弱预言不等式形式的非渐近风险界，前提是惩罚的下界成立。随后我们在合成与真实数据集上展示了我们模型的良好经验性质。
引用
@article{arxiv.2104.02640,
title = {A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models},
author = {TrungTin Nguyen and Hien Duy Nguyen and Faicel Chamroukhi and Florence Forbes},
journal= {arXiv preprint arXiv:2104.02640},
year = {2022}
}
备注
To appear, Electronic Journal of Statistics, 2022