面向无界损失的 PAC-Bayes-Chernoff 界

Ioar Casado; Luis A. Ortega; Aritz Pérez; Andrés R. Masegosa

面向无界损失的 PAC-Bayes-Chernoff 界

机器学习 2024-10-31 v4 机器学习

作者: Ioar Casado , Luis A. Ortega , Aritz Pérez , Andrés R. Masegosa

摘要

我们引入了一个新的面向无界损失的 PAC-Bayes oracle 界，它将 Cramér-Chernoff 界扩展到了 PAC-Bayesian 框架。证明技术依赖于控制涉及损失 Cramér 变换的某些随机变量的尾部。我们的方法自然地利用了 Cramér-Chernoff 界的性质，例如在许多 PAC-Bayes 界中自由参数的精确优化。我们强调了主要定理的几个应用。首先，我们展示了我们的界恢复并推广了先前的结果。此外，我们的方法允许使用更丰富的假设，从而产生信息量更大且可能更紧的界。在此方向上，我们提供了一个基于新的“模型依赖”假设的通用界，从中我们得到了基于参数范数和 log-Sobolev 不等式的界。值得注意的是，这些界中的许多可以通过最小化来获得 Gibbs 后验之外的分布，并为现有的正则化技术提供新颖的理论覆盖。

关键词

PAC-Bayes 界 Chernoff 界无界损失 Cramér 变换模型依赖假设 log-Sobolev 不等式

引用

@article{arxiv.2401.01148,
  title  = {PAC-Bayes-Chernoff bounds for unbounded losses},
  author = {Ioar Casado and Luis A. Ortega and Aritz Pérez and Andrés R. Masegosa},
  journal= {arXiv preprint arXiv:2401.01148},
  year   = {2024}
}

备注

Camera-ready version for NeurIPS 2024

面向无界损失的 PAC-Bayes-Chernoff 界

摘要

关键词

引用

备注

相关论文