中文

关于具有有限矩损失的一般化界的一个注记

机器学习 2024-03-26 v1 机器学习

摘要

本文研究了 Alquier [1] 的截断方法,以推导具有重尾的无界损失的高概率 PAC-Bayes 界。假设 pp 阶矩有界,所得的界在 p=2p=2 时的慢速率 1/n1 / \sqrt{n}pp \to \infty 且损失本质有界时的快速率 1/n1 / n 之间进行插值。此外,本文推导了具有有界方差的损失的高概率 PAC-Bayes 界。与文献中先前的界相比,该界对置信度参数和依赖性度量的依赖性呈指数级改善。最后,本文将所有结果扩展到期望保证和单次抽取 PAC-Bayes。为此,它在这些设置中获得了文献 [2] 中关于有界损失的 PAC-Bayes 快速率界的类似结果。

关键词

引用

@article{arxiv.2403.16681,
  title  = {A note on generalization bounds for losses with finite moments},
  author = {Borja Rodríguez-Gálvez and Omar Rivasplata and Ragnar Thobaben and Mikael Skoglund},
  journal= {arXiv preprint arXiv:2403.16681},
  year   = {2024}
}

备注

9 pages: 5 of main text, 1 of references, and 3 of appendices