基于经验损失估计学习系数

学习系数在分析信息准则（如广义适用信息准则WAIC和广义适用贝叶斯信息准则WBIC）的性能方面起着关键作用，这些准则由Sumio Watanabe提出，用于评估模型的泛化能力。在常规统计模型中，学习系数为$d/2，其中$d$为参数空间的维数。更一般地，学习系数定义为从KL散度和先验分布导出的zeta函数极点阶数的绝对值。然而，除特定情况（如降秩回归）外，学习系数无法以封闭形式推导。Watanabe提出了一种数值方法来估计学习系数，Imai进一步改进以增强其收敛性。这些方法利用WBIC的渐近行为，已被证明在样本量增大时是统计一致的。在本文中，我们提出了一种新型数值估计方法，与以往方法根本不同，利用Watanabe引入的新量“经验损失”。通过数值实验，我们展示了我们提出的方法在偏差和方差上均优于Watanabe和Imai的方法。此外，我们提供了理论分析，阐明了本方法为何优于现有技术，并提供了实证证据支持我们的发现。