k-折交叉验证的先验指数尾界
机器学习
2017-06-20 v1 机器学习
摘要
我们考虑基于交叉验证估计和学习器稳定性开发的先验泛化界。特别地，我们首先推导出一个关于n个独立随机变量的一般函数集中度的指数型Efron-Stein尾部不等式。接着，在某种合理的稳定性概念下，我们利用该指数尾界分析k-折交叉验证(KFCV)估计围绕由一般学习规则生成的假设的真实风险的集中度。虽然已有文献通常将这种集中度归因于估计器的偏差和方差，但我们的界将这种集中度归因于学习规则的稳定性和折数k。这一见解提出了与KFCV实际应用相关的合理担忧，并指出了获取真实风险可靠经验估计的研究方向。
引用
@article{arxiv.1706.05801,
title = {An a Priori Exponential Tail Bound for k-Folds Cross-Validation},
author = {Karim Abou-Moustafa and Csaba Szepesvari},
journal= {arXiv preprint arXiv:1706.05801},
year = {2017}
}