PAC-Bayes 释放潜能：无界损失下的泛化界
机器学习
2021-12-16 v2 机器学习
统计理论
统计理论
摘要
我们针对具有无界损失函数的学习问题，提出了新的 PAC-贝叶斯泛化界。这扩展了 PAC-贝叶斯学习框架的相关性和适用性，因为现有文献大多关注具有有界损失函数（通常假设取值在区间 [0;1] 内）的监督学习问题。为了放宽这一假设，我们提出了一个称为 HYPE（代表“假设依赖范围”）的新概念，它有效地允许损失的范围依赖于每个预测器。基于这一新概念，我们推导出一个针对无界损失函数的新型 PAC-贝叶斯泛化界，并将其应用于线性回归问题。为了使我们的理论能被尽可能广泛的受众使用，我们包含了关于实际计算、实用性以及我们假设局限性的讨论。
引用
@article{arxiv.2006.07279,
title = {PAC-Bayes unleashed: generalisation bounds with unbounded losses},
author = {Maxime Haddouche and Benjamin Guedj and Omar Rivasplata and John Shawe-Taylor},
journal= {arXiv preprint arXiv:2006.07279},
year = {2021}
}
备注
24 pages