一致稳定算法更紧的泛化界
机器学习
2020-05-27 v2 概率论
机器学习
摘要
为稳定算法推导泛化界是学习理论中的一个经典问题，其根源可追溯至 Vapnik 与 Chervonenkis (1974) 以及 Rogers 与 Wagner (1978) 的早期工作。在 Feldman 与 Vondrak (2018, 2019) 近期一系列突破性论文中，他们指出 Bousquet 与 Elisseef (2002) 针对一致稳定学习算法给出的已知最佳高概率上界在某些自然情形下是次优的。为此，他们证明了两条泛化界，显著优于 Bousquet 与 Elisseef (2002) 的简单泛化界。Feldman 与 Vondrak 还提出了是否可能给出更紧的界并证明相应的高概率下界的问题。本文致力于回答这些问题：首先，受 Feldman 与 Vondrak (2019) 原始论证的启发，我们给出了矩界的一个简短证明，该矩界蕴含的泛化界比近期两项结果 (Feldman 与 Vondrak, 2018, 2019) 都更强。其次，我们证明了一般下界，表明除非利用相应随机变量的某些额外性质，否则我们的矩界是紧的（相差一个对数因子）。我们的主要概率结果是一个针对弱相关随机变量的一般集中不等式，该结果可能具有独立的研究价值。
引用
@article{arxiv.1910.07833,
title = {Sharper bounds for uniformly stable algorithms},
author = {Olivier Bousquet and Yegor Klochkov and Nikita Zhivotovskiy},
journal= {arXiv preprint arXiv:1910.07833},
year = {2020}
}
备注
17 pages, minor improvements, to appear in COLT