基于上鞅的重尾损失 PAC-Bayes 泛化界
机器学习
2023-04-25 v2 机器学习
统计理论
统计理论
摘要
尽管 PAC-Bayes 如今已成为轻尾损失（例如亚高斯或亚指数）的成熟学习框架，但其对重尾损失情形的推广在很大程度上仍属未知，且近年来引起了越来越多的关注。我们在仅假设损失函数方差有界的条件下，给出了重尾损失的 PAC-Bayes 泛化界。在此假设下，我们推广了 \citet{kuzborskij2019efron} 的先前结果。我们的关键技术贡献是利用了马尔可夫不等式在上鞅上的推广。我们的证明技术通过给出无界鞅的界以及针对重尾损失的批量和在线学习界，统一并扩展了不同的 PAC-Bayesian 框架。
引用
@article{arxiv.2210.00928,
title = {PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales},
author = {Maxime Haddouche and Benjamin Guedj},
journal= {arXiv preprint arXiv:2210.00928},
year = {2023}
}
备注
New Section 3 on Online PAC-Bayes