面向加权多数投票的切比雪夫-坎泰利 PAC-Bayes-Bennett 不等式
机器学习
2023-01-18 v2 机器学习
摘要
我们提出了一种针对加权多数投票期望风险的新二阶预言界。该界基于一种新颖的参数化形式的切比雪夫-坎泰利不等式（又称单侧切比雪夫不等式），其适于高效最小化。这一新形式解决了先前基于切比雪夫-坎泰利不等式的预言界（C-界 [Germain et al., 2015]）所面临的优化难题，同时改进了由 Masegosa 等人 [2020] 提出的基于二阶马尔可夫不等式的预言界。我们还推导了一个新的测度集中不等式，将其命名为 PAC-Bayes-Bennett，因为它将 PAC-Bayesian 界与 Bennett 不等式相结合。我们将其用于该预言界的经验估计。PAC-Bayes-Bennett 不等式改进了 Seldin 等人 [2012] 的 PAC-Bayes-Bernstein 不等式。我们提供了经验评估，表明新界能够改进 Masegosa 等人 [2020] 的工作。切比雪夫-坎泰利不等式的参数化形式与 PAC-Bayes-Bennett 不等式本身，对于其他领域中测度集中的研究可能具有独立意义。
引用
@article{arxiv.2106.13624,
title = {Chebyshev-Cantelli PAC-Bayes-Bennett Inequality for the Weighted Majority Vote},
author = {Yi-Shan Wu and Andrés R. Masegosa and Stephan S. Lorenzen and Christian Igel and Yevgeny Seldin},
journal= {arXiv preprint arXiv:2106.13624},
year = {2023}
}
备注
aligned with the camera-ready version published at NeurIPS 2021