早停梯度下降中交叉验证的失败与成功
统计理论
2024-02-27 v1 机器学习
机器学习
统计理论
摘要
我们分析了应用于高维最小二乘回归中早停梯度下降 (GD) 的广义交叉验证 (GCV) 和留一交叉验证 (LOOCV) 的统计性质。我们证明了，即使对于具有各向同性特征的良定线性模型，GCV 作为早停 GD 预测风险的估计量通常也是不一致的。相比之下，我们表明 LOOCV 沿 GD 轨迹一致收敛于预测风险。我们的理论仅要求对数据分布做出温和假设，并不要求底层回归函数是线性的。此外，通过利用单个 LOOCV 误差，我们构建了沿 GD 轨迹的整个预测误差分布的一致估计量，以及一大类误差泛函的一致估计量。这特别使得能够基于 GD 迭代构建路径预测区间，这些区间在给定训练数据的条件下具有渐近正确的名义覆盖率。
引用
@article{arxiv.2402.16793,
title = {Failures and Successes of Cross-Validation for Early-Stopped Gradient Descent},
author = {Pratik Patil and Yuchen Wu and Ryan J. Tibshirani},
journal= {arXiv preprint arXiv:2402.16793},
year = {2024}
}
备注
76 pages, 27 figures