CATVI:面向层次贝叶斯非参数模型的条件式自适应截断变分推断
机器学习
2022-04-07 v2 机器学习
摘要
当前面向层次贝叶斯非参数模型的变分推断方法,由于平均场设定既不能刻画潜变量间的相关结构,又因通用截断而无法推断真实后验维度。为克服这些局限,我们提出条件式与自适应截断变分推断方法(CATVI),通过最大化非参数证据下界并将蒙特卡洛集成入变分推断框架。CATVI相较传统方法具有若干优势,包括变分后验与真实后验间更小的散度、降低欠拟合或过拟合风险,以及提升的预测精度。在三个大型数据集上的实证研究表明,CATVI应用于贝叶斯非参数主题模型显著优于对比模型,提供了更低的困惑度与更清晰的主题-词聚类。
引用
@article{arxiv.2001.04508,
title = {CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models},
author = {Yirui Liu and Xinghao Qiao and Jessica Lam},
journal= {arXiv preprint arXiv:2001.04508},
year = {2022}
}