如何利用 KL 散度构造多元高斯分布的共轭先验及其具有良定义无信息极限的方法
机器学习
2021-09-17 v2 机器学习
统计理论
统计理论
摘要
当均值已知时,Wishart 分布是多元高斯似然精度的标准共轭先验——而当均值也未知时,可使用正态-Wishart 分布。然而,如何为这些分布的超参数赋值并不明显。特别是,在形成这些分布的无信息极限时,必须谨慎处理 Wishart 的形状(或自由度)参数。一些作者提出的直接将形状解释为先验计数并令其趋于零的直观解法,违反了形状参数的限制。我们展示了如何使用多元高斯之间的缩放 KL 散度作为能量函数来构造 Wishart 与正态-Wishart 共轭先验。当用作信息先验时,这些分布的显著特征是众数,而 KL 缩放因子充当先验计数。该缩放因子可被取至零处的极限,以形成不违反 Wishart 形状参数限制的无信息先验。该极限是无信息的,原因在于后验众数等同于高斯参数的最大似然估计。
引用
@article{arxiv.2109.07384,
title = {How to use KL-divergence to construct conjugate priors, with well-defined non-informative limits, for the multivariate Gaussian},
author = {Niko Brümmer},
journal= {arXiv preprint arXiv:2109.07384},
year = {2021}
}
备注
technical report, 10 pages