PAC-贝叶斯理论遇上贝叶斯推断
机器学习
2017-02-14 v4 机器学习
摘要
我们展示了频率派 PAC-贝叶斯风险界与贝叶斯边际似然之间的强联系。也就是说，对于负对数似然损失函数，我们表明最小化 PAC-贝叶斯泛化风险界会最大化贝叶斯边际似然。在数据由独立同分布（i.i.d）生成的前提下，这为贝叶斯奥卡姆剃刀准则提供了另一种解释。此外，由于负对数似然是无界损失函数，我们提出并推导了一个专为 sub-gamma 损失族定制的 PAC-贝叶斯定理，并表明我们的方法在经典贝叶斯线性回归任务上是合理的。
引用
@article{arxiv.1605.08636,
title = {PAC-Bayesian Theory Meets Bayesian Inference},
author = {Pascal Germain and Francis Bach and Alexandre Lacoste and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:1605.08636},
year = {2017}
}
备注
Published at NIPS 2015 (http://papers.nips.cc/paper/6569-pac-bayesian-theory-meets-bayesian-inference)