贝叶斯非参数指数族共轭模型的充分统计量构造
机器学习
2016-01-12 v1 机器学习
摘要
无限维空间上的分布共轭对在统计学习理论中十分突出，特别是由于贝叶斯非参数方法在许多模型和应用中的广泛采用。学习领域的现有文献多关注具有某种计算上易处理的共轭性的过程，例如贝塔过程和伽马过程（以及通过归一化得到的狄利克雷过程）。对于这些过程，共轭性的证明以及后验密度参数显式计算公式的必要推导是针对所讨论的随机过程特定的。因此，目前可用的贝叶斯非参数模型仅限于少数共轭对，例如狄利克雷-多项分布和贝塔-伯努利过程对。在上述每种情况下，似然过程都属于离散指数族分布类。在已知的贝叶斯非参数共轭模型案例中排除了连续似然分布，这是研究者工具箱中的一个缺陷。本文中，我们首先解决获取具有适于共轭的分布性质的无限维空间上先验分布的一般构造问题。其次，我们通过给出列维测度密度来自正指数族的随机过程的规范构造，弥合了离散与连续似然之间的鸿沟，然后证明这些过程实际上构成了共轭族中的先验、似然和后验。我们的规范构造包含了在似然来自属于指数族的离散分布情况下的已知后验密度参数计算公式。
引用
@article{arxiv.1601.02257,
title = {A Sufficient Statistics Construction of Bayesian Nonparametric Exponential Family Conjugate Models},
author = {Robert Finn and Brian Kulis},
journal= {arXiv preprint arXiv:1601.02257},
year = {2016}
}