学习算法泛化误差矩的信息论界
信息论
2021-05-07 v2 机器学习
math.IT
机器学习
摘要
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中,基于对学习算法的总体风险与经验风险的任意函数期望值的新的界,我们通过刻画(界定)其泛化误差矩,对机器学习模型的泛化行为提供了更精细的分析。我们讨论了所提出的界——其也包含对期望泛化误差的新界——如何与文献中已有的界相关联。我们还讨论了所提出的泛化误差矩界如何被用于构造新的泛化误差高概率界。
引用
@article{arxiv.2102.02016,
title = {Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms},
author = {Gholamali Aminian and Laura Toni and Miguel R. D. Rodrigues},
journal= {arXiv preprint arXiv:2102.02016},
year = {2021}
}
备注
7 pages, 3 figures, to be published in ISIT 2021. Some typos are fixed in the new version. The Re'yni divergence results are added in the new version