通过自助法生成样本外预测以实现高效且准确的交叉验证
机器学习
2017-08-28 v2
摘要
交叉验证（Cross-Validation, CV）以及一般的样本外性能估计协议，通常被用于（a）选择算法与超参数值的最佳组合（称为一个配置）以生成最终的预测模型，以及（b）估计最终模型的预测性能。然而，最佳配置的交叉验证性能存在乐观偏差。我们提出了一种校正该偏差的高效自助法，称为 Bootstrap Bias Corrected CV (BBC-CV)。BBC-CV 的核心思想是对每个配置的样本外预测进行自助采样，从而在整个挑选最佳性能配置的过程中进行自助法操作，且无需额外训练模型。与嵌套交叉验证以及 Tibshirani 和 Tibshirani 提出的方法相比，BBC-CV 在计算上更高效，方差和偏差更小，并且适用于任何性能指标（准确率、AUC、一致性指数、均方误差）。随后，我们再次利用对样本外预测进行自助法的思想来加速 CV 过程。具体而言，我们采用基于自助法的假设检验，在统计上显著劣质的配置的新折上停止训练模型。我们将该方法命名为 Bootstrap Corrected with Early Dropping CV (BCED-CV)，它既高效又能提供准确的性能估计。
引用
@article{arxiv.1708.07180,
title = {Bootstrapping the Out-of-sample Predictions for Efficient and Accurate Cross-Validation},
author = {Ioannis Tsamardinos and Elissavet Greasidou and Michalis Tsagris and Giorgos Borboudakis},
journal= {arXiv preprint arXiv:1708.07180},
year = {2017}
}
备注
Added acknowledgments