一种广泛适用的贝叶斯信息准则

若将参数映射到概率分布的映射是一对一的，且其 Fisher 信息矩阵始终正定，则称该统计模型或学习机器为正则的；否则称为奇异的。在正则统计模型中，由贝叶斯边缘似然的负对数定义的贝叶斯自由能可以渐近地用 Schwarz 贝叶斯信息准则 (BIC) 来近似，而在奇异模型中这种近似并不成立。最近已证明，奇异模型的贝叶斯自由能渐近地由一个使用双有理不变量——实对数典范阈值 (RLCT) 的广义公式给出，代替了 BIC 中参数数量的一半。基于代数几何方法，人们正在发现几种统计模型中 RLCT 的理论值。然而，由于 RLCT 依赖于未知的真实分布，仅利用训练样本来估计贝叶斯自由能一直十分困难。在本文中，我们定义了一种广泛适用的贝叶斯信息准则 (WBIC)，其为逆温度 $1/\log n$ 下后验分布上的平均对数似然函数，其中 $n$ 为训练样本数量。我们从数学上证明了，即使统计模型是奇异的且无法被统计模型实现，WBIC 也具有与贝叶斯自由能相同的渐近展开式。由于 WBIC 可以在无需任何关于真实分布信息的情况下进行数值计算，因此它是 BIC 在奇异统计模型上的推广版本。