正则渐近理论中用于预测先验设计的贝叶斯交叉验证与 WAIC

先验设计是统计学和机器学习中的重要问题之一。交叉验证 (CV) 和广泛适用信息准则 (WAIC) 是贝叶斯估计的预测度量，然而，由于它们在先验评估中的数学性质尚不清楚，且超参数区域过于宽泛而难以检验，因此很难应用它们来寻找最优先验。在本文中，我们推导了一个新公式，阐明了 CV、WAIC 与泛化损失之间的理论关系，并可直接找到最优超参数。通过该公式，明确了关于预测先验设计的三个事实。首先，CV 和 WAIC 具有相同的二阶渐近展开，因此作为超参数的优化器，它们是渐近等价的。其次，最小化 CV 或 WAIC 的超参数能使平均泛化损失渐近最小化，但不能使随机泛化损失最小化。最后，利用先验之间的数学关系，可以用较小的计算成本减小由 CV 和 WAIC 优化的超参数的方差。我们还表明，由 DIC 或边缘似然优化的超参数通常不能最小化平均或随机泛化损失。