通过偏移 Rademacher 过程实现快率 PAC-Bayes 泛化界
机器学习
2019-12-03 v2 统计理论
机器学习
统计理论
摘要
Rademacher 复杂度与 PAC-Bayesian 理论的发展在很大程度上是相互独立的。一个例外是 Kakade、Sridharan 和 Tewari(2008)的 PAC-Bayes 定理,该定理通过将 Gibbs 分类器视为线性算子,借助 Rademacher 复杂度理论建立。本文的目标是扩展 Rademacher 复杂度与最先进的 PAC-Bayesian 理论之间的这一桥梁。我们首先证明,利用偏移 Rademacher 过程(Wegkamp, 2003; Lecué and Mitchell, 2012; Zhivotovskiy and Hanneke, 2018)可以匹配 Catoni 的 PAC-Bayes 界(Catoni, 2007)的快率。然后,我们依据后验集中其上的经验风险曲面的“平坦度”推导出一个新的快率 PAC-Bayes 界。我们的分析建立了一个推导快率 PAC-Bayes 界的新框架,并对 PAC-Bayesian 理论给出了新的见解。
引用
@article{arxiv.1908.07585,
title = {Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes},
author = {Jun Yang and Shengyang Sun and Daniel M. Roy},
journal= {arXiv preprint arXiv:1908.07585},
year = {2019}
}
备注
18 pages