块对角多项式专家混合模型中的非渐近模型选择

通过惩罚似然型准则进行模型选择，是许多统计推断与机器学习问题中的标准任务。研究进展已推导出具有渐近一致性结果的准则，并日益强调引入非渐近准则。我们关注在专家混合建模框架下，对具有潜在隐图结构交互的高维预测变量回归数据中的非线性关系建模问题。为应对这一复杂情形，我们研究了一种块对角局部化多项式专家混合（BLoMPE）回归模型，其构建于逆回归与高斯专家协方差矩阵的块对角结构之上。我们引入一种惩罚最大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理推断混合成分个数、多项式均值函数次数以及协方差矩阵隐块对角结构这一挑战性问题，从而减少待估参数数量，并在模型复杂性与稀疏性之间取得权衡。特别地，我们提供了强有力的理论保证：惩罚最大似然估计量在 Jensen-Kullback-Leibler 型损失下满足有限样本预言不等式，以支撑所引入的非渐近模型选择准则。该准则的惩罚形式取决于所考虑的 BLoMPE 模型随机子集合的复杂性，包括相关图结构、多项式均值函数次数与混合成分个数。