用于比较两个分类算法的块正则化 5$\times$2 交叉验证 McNemar 检验
机器学习
2025-01-07 v2
摘要
在比较两个分类算法的任务中，广泛使用的 McNemar 检验旨在推断两个分类算法错误率之间存在显著差异与否。然而，常规 McNemar 检验的功效通常不尽如人意，因为检验中的保留（HO）法仅使用单次训练-验证划分，通常对错误率产生高度变化的估计。相比之下，交叉验证（CV）方法多次重复 HO 法并给出稳定估计。因此，CV 方法在提升 McNemar 检验功效方面具有很大优势。在所有类型的 CV 方法中，块正则化 52 CV（BCV）已在以往许多研究中被证明优于其他 CV 方法用于算法比较任务，因为 52 BCV 可通过正则化所有训练集间重叠记录的数量来产生高质量的错误率估计量。在本研究中，我们将 52 BCV 中的 10 个相关列联表压缩为一个有效列联表。继而，我们基于该有效列联表定义了 52 BCV McNemar 检验。我们在多个模拟与真实数据集上展示了所提 52 BCV McNemar 检验合理的第一类错误与良好的功效。
引用
@article{arxiv.2304.03990,
title = {Block-regularized 5$\times$2 Cross-validated McNemar's Test for Comparing Two Classification Algorithms},
author = {Jing Yang and Ruibo Wang and Yijun Song and Jihong Li},
journal= {arXiv preprint arXiv:2304.03990},
year = {2025}
}
备注
12 pages, 6 figures, and 5 tables