Gibbs 后验中温度参数的实用校准

PAC-Bayesian 算法与 Gibbs 后验因其在模型设定错误时仍具鲁棒性而日益流行，即便贝叶斯推断不一致时亦如此。PAC-Bayesian alpha 后验是标准贝叶斯后验的推广，可通过参数 alpha 进行 temper 处理以应对不一致性。已有一些数据驱动的调整 alpha 的方法被提出，但仍很少，且常计算繁重。此外，当我们使用变分近似而非精确 alpha 后验时，这些方法的适用性并不明确。这将其使用限制于简单模型，并阻碍其在大规模问题中的应用。因此我们亟需能同时用于精确与变分 alpha 后验的快速调整 alpha 方法。首先，我们提出两种基于样本分割与自助法（bootstrapping）的数据驱动调整 alpha 方法。其次，我们推导了三种流行统计模型的（精确或变分）后验，并将其改造为 alpha 后验。对每个模型，我们测试了我们的策略并与标准 Bayes 及 Grunwald 的 SafeBayes 比较。尽管自助法结果参差，样本分割与 SafeBayes 在我们所描述的精确与变分 alpha 后验上表现良好，并在设定错误或复杂模型中取得优于标准 Bayes 的结果。此外，样本分割在速度上优于 SafeBayes。样本分割为不一致性提供了快速简便的解决方案，且通常表现与贝叶斯推断相似或更佳。我们的结果对 PAC-Bayesian 与 Gibbs 后验中 alpha 的校准提供了启示，并可能促进这些方法在大型复杂模型中的使用。