关于因子化信息准则正则化与中国餐馆过程先验的等价性
机器学习
2015-07-02 v2
摘要
因子化信息准则(FIC)是近年发展的信息准则,基于此发展了一种新颖的模型选择方法,即因子化渐近贝叶斯(FAB)推断,并已成功应用于各种层次贝叶斯模型。狄利克雷过程(DP)先验及其一个著名表示——中国餐馆过程(CRP)——衍生了另一类模型选择方法。FIC 可被视为关于潜变量配置的先验分布。在此视角下,我们证明了当参数维度 时,FIC 等价于 CRP。我们论证当 时,FIC 避免了 DP/CRP 的一个固有问题,即数据似然将主导先验的影响,从而模型选择能力随 增大而减弱。然而,FIC 高估了数据似然。结果,FIC 可能过度偏向具有较少分量的模型。我们提出了 FIC 的一个自然推广,它找到了 CRP 与 FIC 之间的中间地带,并可能比 FIC 产生更精确的模型选择结果。
引用
@article{arxiv.1506.09068,
title = {On the Equivalence of Factorized Information Criterion Regularization and the Chinese Restaurant Process Prior},
author = {Shaohua Li},
journal= {arXiv preprint arXiv:1506.09068},
year = {2015}
}
备注
3 pages