关于具有有限矩损失的一般化界的一个注记
机器学习
2024-03-26 v1 机器学习
摘要
本文研究了 Alquier [1] 的截断方法,以推导具有重尾的无界损失的高概率 PAC-Bayes 界。假设 阶矩有界,所得的界在 时的慢速率 和 且损失本质有界时的快速率 之间进行插值。此外,本文推导了具有有界方差的损失的高概率 PAC-Bayes 界。与文献中先前的界相比,该界对置信度参数和依赖性度量的依赖性呈指数级改善。最后,本文将所有结果扩展到期望保证和单次抽取 PAC-Bayes。为此,它在这些设置中获得了文献 [2] 中关于有界损失的 PAC-Bayes 快速率界的类似结果。
引用
@article{arxiv.2403.16681,
title = {A note on generalization bounds for losses with finite moments},
author = {Borja Rodríguez-Gálvez and Omar Rivasplata and Ragnar Thobaben and Mikael Skoglund},
journal= {arXiv preprint arXiv:2403.16681},
year = {2024}
}
备注
9 pages: 5 of main text, 1 of references, and 3 of appendices