利用样本难度获得更紧的 PAC-Bayes 泛化界
机器学习
2023-01-25 v1 机器学习
摘要
我们引入了 excess risk 的一个修正版本，可用于获得更紧的快率 PAC-Bayesian 泛化界。该修正的 excess risk 利用关于数据样本相对难度的信息来降低其经验对应项的方差，从而收紧界。我们将其与针对 值（且可能非独立）的符号损失的一个新界结合，当这些损失在 附近经验上具有低方差时该界更有利。主要的新技术工具是一个关于相互依赖随机向量序列的新结果，其本身可能具有独立意义。我们在多个真实世界数据集上对这些新界进行了经验评估。
引用
@article{arxiv.2210.11289,
title = {Tighter PAC-Bayes Generalisation Bounds by Leveraging Example Difficulty},
author = {Felix Biggs and Benjamin Guedj},
journal= {arXiv preprint arXiv:2210.11289},
year = {2023}
}
备注
22 pages