哪些泄漏类型才重要？
机器学习
2026-04-07 v1
摘要
在 2,047 个表格数据集上进行的 28 项站内反事实实验，外加对 129 个时序数据集的边界实验，衡量四类数据泄漏的严重程度。I 类（估计 - 在完整数据上拟合标度器）可忽略：所有九种情形下的 。II 类（选择 - 窥视、随机种子樱桃挑选）显著：约 90% 的测量效应为噪声开发，导致报告得分被高估。III 类（记忆）随模型容量而比例增长：d_z = 0.37（朴素贝叶斯）至 1.11（决策树）。IV 类（边界）在随机交叉验证下不可见。教科书所倾向的重点被颠倒：归一化泄漏影响最小；在实际数据集规模下，选择泄漏影响最大。
引用
@article{arxiv.2604.04199,
title = {Which Leakage Types Matter?},
author = {Simon Roth},
journal= {arXiv preprint arXiv:2604.04199},
year = {2026}
}
备注
35 pages, 6 figures, 10 tables. Companion to arXiv:2603.10742