混合模型中估计与模型选择的变分贝叶斯推断一致性
统计理论
2020-08-03 v2 统计计算
统计方法学
统计理论
摘要
混合模型在贝叶斯统计和机器学习中被广泛使用，特别是在计算生物学、自然语言处理及其他许多领域。变分推断是一种借助优化算法来近似难解后验的技术，在处理诸如混合模型等复杂模型时在实践中极受欢迎。本文的贡献有两方面。首先，我们研究了后验的变分近似的集中性，这对于一般混合模型而言仍是一个开放问题，并导出了一致性和收敛速率。我们还处理了关于分量数目的模型选择问题：我们研究了已在实践中使用的方法，即最大化一个数值准则（证据下界）。我们证明了该策略确实导出了强预言不等式。我们通过对高斯混合和多项式混合的应用来阐述我们的理论结果。
引用
@article{arxiv.1805.05054,
title = {Consistency of Variational Bayes Inference for Estimation and Model Selection in Mixtures},
author = {Badr-Eddine Chérief-Abdellatif and Pierre Alquier},
journal= {arXiv preprint arXiv:1805.05054},
year = {2020}
}