聚合保留法
统计理论
2020-01-22 v1 统计方法学
机器学习
统计理论
摘要
聚合保留法(Agghoo)是一种对由保留法(即单次划分的交叉验证)所选学习规则进行平均的方法。我们提供了关于Agghoo的首个理论保证，确保其在风险为凸时可安全使用：Agghoo在最坏情况下表现如同保留法。在0-1风险的分类问题中，附加一个常数因子后同样成立。对于保留法，在有界损失(如二分类)下已知存在预言不等式。我们表明，在适当假设下，对其他风险最小化问题也可证明类似结果。特别地，我们在无需Y变量或回归量有界的条件下，获得了具有Lipschitz损失的正则化核回归的预言不等式。数值实验表明，聚合相较保留法带来显著改进，且Agghoo与交叉验证具有竞争力。
引用
@article{arxiv.1909.04890,
title = {Aggregated Hold-Out},
author = {Guillaume Maillard and Sylvain Arlot and Matthieu Lerasle},
journal= {arXiv preprint arXiv:1909.04890},
year = {2020}
}