经验贝叶斯方法的一致性与模型选择最优性证明

我们研究大自由度模型超参数推断中最大边际似然估计（maximum marginal likelihood estimate, MMLE）的一致性与最优性。我们在指数族内开展主要分析，其中自然参数为超参数。首先，我们证明了在估计似然与先验方差尺度时，一般线性模型 MMLE 的一致性。该证明与数据对模型参数的数量比无关，且排除了相关正则化最小二乘模型参数估计的不适定性（其被证为渐近无偏）。其次，我们将证明推广至含有限个超参数的其他模型。我们发现指数族中代价函数的广延性质通常可导出似然超参数 MMLE 的一致性。此外，我们证明即便在预测分布假想渐近正态性（适用于非指数模型族）下真实数据分布位于模型空间之外，MMLE 也渐近几乎必然最小化先验与真实预测分布间的 Kullback-Leibler 散度。我们的证明验证了在多数模型参数渐近下使用超参数 MMLE 的经验贝叶斯方法，并确保经验交叉熵交叉验证具有相同资质。