经验贝叶斯后验分布的收敛速率：一种变分视角
统计理论
2020-09-10 v1 机器学习
统计理论
摘要
我们研究了用于非参数和高维推断的经验贝叶斯后验分布的收敛速率。我们表明，只要超参数集是离散的，由最大边际似然估计量诱导的经验贝叶斯后验分布就可以被视为分层贝叶斯后验分布的变分近似。经验贝叶斯与变分贝叶斯之间的这一联系使我们能够利用变分贝叶斯文献中的近期结果，并从变分视角直接得到经验贝叶斯后验分布的收敛速率。对于更一般的未必离散的超参数集，我们引入了一种称为“先验分解”的新技术，以处理可写为支撑为低维子空间的概率测度的凸组合的先验分布。这导出了经验贝叶斯收敛速率的经典“先验质量与检验”条件的推广版本。我们的理论应用于若干统计估计问题，包括非参数密度估计和稀疏线性回归。
引用
@article{arxiv.2009.03969,
title = {Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective},
author = {Fengshuo Zhang and Chao Gao},
journal= {arXiv preprint arXiv:2009.03969},
year = {2020}
}