带Diaconis-Ylvisaker先验的对数线性模型后验最优高斯近似
统计方法学
2015-11-04 v1
摘要
在列联表分析中，即便变量数目不多也常遇到稀疏数据，导致最大似然估计不存在。一种常见解是获得对数线性模型参数的正则化估计。贝叶斯方法提供了连贯的正则化途径，但常计算密集。共轭先验缓解了计算需求，但对数线性模型参数的共轭Diaconis-Ylvisaker先验并不产生闭式可信区域，使后验推断复杂化。在此我们推导了带有Diaconis-Ylvisaker先验的对数线性模型后验的最优高斯近似，并给出了精确后验与最优高斯近似之间Kullback-Leibler散度的收敛速率与有限样本界。我们通过模拟和真实数据应用经验地证明该近似高度准确，即便在相对较小样本中。所提近似为对数线性模型的正则化估计与近似贝叶斯推断提供了计算可扩展且原则性的方法。
引用
@article{arxiv.1511.00764,
title = {Optimal Gaussian approximations to the posterior for log-linear models with Diaconis-Ylvisaker priors},
author = {James E. Johndrow and Anirban Bhattacharya},
journal= {arXiv preprint arXiv:1511.00764},
year = {2015}
}