有限惩罚估计量集成下的修正广义交叉验证
统计理论
2024-04-23 v2 统计方法学
机器学习
统计理论
摘要
广义交叉验证(GCV)是一种广泛使用的平方样本外预测风险估计方法,它通过对训练误差平方进行标量自由度调整(乘法意义下)来估计风险。本文中,我们考察了GCV在估计任意惩罚最小二乘估计量集成之预测风险时的一致性。我们证明,对于任意大小大于一的有限集成,GCV都是不一致的。为弥补这一缺陷,我们给出了一种修正方法,其涉及基于各集成分量自由度调整训练误差的额外标量修正(加法意义下)。所提出的估计量(称为CGCV)保持了GCV的计算优势,且不需要样本分割、模型重拟合或袋外风险估计。该估计量源于对集成风险分解的更细致考察,以及该分解中各部分的两个中间风险估计量。我们针对高斯特征与线性响应模型下凸惩罚估计量集成,给出了CGCV及两个中间风险估计量的非渐近分析。此外,在岭回归这一特例中,我们利用随机矩阵理论将分析推广至一般特征与响应分布,从而建立了CGCV的免模型一致一致性。
引用
@article{arxiv.2310.01374,
title = {Corrected generalized cross-validation for finite ensembles of penalized estimators},
author = {Pierre C. Bellec and Jin-Hong Du and Takuya Koriyama and Pratik Patil and Kai Tan},
journal= {arXiv preprint arXiv:2310.01374},
year = {2024}
}
备注
91 pages, 34 figures; this version adds general proof outlines (in Sections 4.3 and 5.3), add more experiments with non-Gaussian data (in Sections D and E), relaxes an assumption (in Section A.7), clarifies explanations at several places, and corrects minor typos at several places