PAC-Bayes 框架的一个局限性
机器学习
2021-09-06 v3 机器学习
摘要
PAC-Bayes 是由 McAllester ('98) 引入的用于推导泛化界的有用框架。该框架具有推导依赖于分布和算法的界灵活性，这些界通常比 VC 相关的均匀收敛界更紧。在本稿件中，我们提出了 PAC-Bayes 框架的一个局限性。我们展示了一个不适用于 PAC-Bayes 分析的简单学习任务。具体而言，我们考虑一维线性分类任务；众所周知，该任务仅需 个样本即可学习。另一方面，我们表明这一事实无法用 PAC-Bayes 分析证明：对于任何学习一维线性分类器的算法，都存在一个（可实现的）分布，使得 PAC-Bayes 界任意大。
引用
@article{arxiv.2006.13508,
title = {A Limitation of the PAC-Bayes Framework},
author = {Roi Livni and Shay Moran},
journal= {arXiv preprint arXiv:2006.13508},
year = {2021}
}