非参数Bernstein–von Mises定理中高斯近似的精度
统计理论
2020-06-02 v5 统计理论
摘要
著名的Bernstein–von Mises (BvM) 结果表明，经有效估计量中心化并除以总Fisher信息平方根标准化后的后验分布近似为标准正态分布。特别地，先验在渐近后验分布中完全消失。这一事实是基础性的，并从频率学派视角证明了贝叶斯方法的合理性。在非参数设定下情况发生剧烈变化，即便对于后验的收缩，先验的影响也变得至关重要；参见[vdV2008]、[Bo2011]、[CaNi2013,CaNi2014]中关于高斯回归或不同弱拓扑下i.i.d.模型等不同模型的研究。本文针对一类特殊但相当流行且有用的统计模型类及高斯先验，提供了另一种研究后验行为的非渐近方法。首先，我们根据所谓的参数空间有效维数推导后验收缩的紧有限样本界。我们的主要结果描述了后验高斯近似的精度。特别地，我们证明限制在所有围绕pMLE的中心对称可信集类上，可得到直至阶(n^{-1})的高斯近似。我们还证明后验分布很好地模仿了惩罚最大似然估计量(pMLE)的分布，并将可信集的可靠性问题归结为基于pMLE的置信集的一致性。所得结果在非参数对数密度估计和广义回归中得到了具体说明。
引用
@article{arxiv.1910.06028,
title = {Accuracy of Gaussian approximation in nonparametric Bernstein -- von Mises Theorem},
author = {Vladimir Spokoiny and Maxim Panov},
journal= {arXiv preprint arXiv:1910.06028},
year = {2020}
}