离散概率网络与高斯混合模型的熵先验
数据分析、统计与概率
2009-11-07 v1
摘要
可用计算能力前所未有的指数级爆发，从根本上改变了统计推断的方法。曾经倡导使用先验并严格遵守贝叶斯定理的少数统计学家，如今正成为跨学科的规范。演化方向现已明确。趋势朝向更真实、更灵活和更复杂的似然，其参数数量不断增长。这使得老问题“先验应当是什么？”在现代贝叶斯推断理论中获得了新的核心重要性。熵先验为优先选择问题提供了一种解答。熵先验的一般定义自1988年即已存在，但直到1998年才发现它们提供了一种全新的完全无知概念。本文重新引入熵先验族，作为数据与参数间互信息的极小化器，如[rodriguez98b]中所述，但带有一处微小改动与修正。随后将一般形式体系应用于两类大型模型：离散概率网络与单变量高斯有限混合。文中还展示了如何通过高效抽样相应后验分布来进行推断。
引用
@article{arxiv.physics/0201016,
title = {Entropic Priors for Discrete Probabilistic Networks and for Mixtures of Gaussians Models},
author = {Carlos C. Rodriguez},
journal= {arXiv preprint arXiv:physics/0201016},
year = {2009}
}
备注
24 pages, 3 figures, Presented at MaxEnt2001, APL Johns Hopkins University, August 4-9 2001. See also http://omega.albany.edu:8008/