基于交叉验证的分类器性能估计量的标准误估计
机器学习
2021-11-10 v4 机器学习
摘要
首先，我们分析了用于估计分类规则性能的交叉验证（CV）基于的估计量的方差。其次，我们提出了一种新颖的估计量，利用影响函数（IF）方法来估计该方差，该方法此前已非常成功地用于估计基于 bootstrap 的估计量的方差。本研究的动机在于，据我们所知，文献中缺乏估计 CV 基于的估计量方差的严格方法。现有的是一组缺乏数学基础的临时程序，因为它们忽略了相关随机变量之间的协方差结构。所进行的实验表明，所提出的 IF 方法具有较小的 RMS 误差并带有一定偏差。然而，令人惊讶的是，临时方法仍优于基于 IF 的方法。不幸的是，这是由于与 bootstrap 估计量相比缺乏足够的平滑性。这为研究开辟了三个方向：（1）更全面的模拟研究以阐明 IF 方法何时占优或失利；（2）更多的数学分析以弄清临时方法为何表现良好；（3）更多的数学处理以弄清适当的“平滑性”程度与降低 IF 方法偏差之间的联系。
引用
@article{arxiv.1908.00325,
title = {Estimating the standard error of cross-Validation-Based estimators of classifier performance},
author = {Waleed A. Yousef},
journal= {arXiv preprint arXiv:1908.00325},
year = {2021}
}