通过 PAC-Bayes 理解冷后验现象

Konstantinos Pitas; Julyan Arbel

通过 PAC-Bayes 理解冷后验现象

机器学习 2022-06-23 v1 人工智能机器学习

作者: Konstantinos Pitas , Julyan Arbel

摘要

我们通过 PAC-Bayes 泛化界的视角研究冷后验效应。我们认为在非渐近设定下，当训练样本数（相对）较少时，关于冷后验效应的讨论应考虑到近似贝叶斯推断并不能轻易提供样本外数据性能的保证。相反，样本外误差更好地由泛化界描述。在此背景下，我们探索变分推断的 ELBO 目标与 PAC-Bayes 目标间的联系。我们注意到，尽管 ELBO 与 PAC-Bayes 目标相似，后者目标自然包含温度参数 $\lambda$ ，且不限于 $\lambda=1$ 。对于回归与分类任务，在后验的各向同性拉普拉斯近似情形下，我们展示该温度参数的 PAC-Bayesian 解释如何刻画冷后验效应。

关键词

冷后验效应 PAC-Bayes 泛化界 ELBO 变分推断拉普拉斯近似温度参数

引用

@article{arxiv.2206.11173,
  title  = {Cold Posteriors through PAC-Bayes},
  author = {Konstantinos Pitas and Julyan Arbel},
  journal= {arXiv preprint arXiv:2206.11173},
  year   = {2022}
}

通过 PAC-Bayes 理解冷后验现象

摘要

关键词

引用

相关论文