近似留一交叉验证与平均场推断的联合分析
统计理论
2026-02-13 v2 机器学习
统计理论
摘要
近似留一交叉验证（ALO-CV）是一种被提出用于在维度与样本量同阶的高维情形（即所谓的“比例机制”）下估计正则化估计量泛化误差的方法。本文发展了一种新的分析，在高斯协变量和强凸性下推导了不可微正则化项下 ALO-CV 的一致性。利用条件化论证，证明了 ALO-CV 权重与其在平均场推断中的对应物之间的差异很小。结合平均场推断估计量与留一量之间的上界，这提供了 ALO-CV 在可忽略误差项范围内近似留一量的证明。本文显式处理了具有平方损失的线性模型、鲁棒线性回归和单指数模型。
引用
@article{arxiv.2501.02624,
title = {Simultaneous analysis of approximate leave-one-out cross-validation and mean-field inference},
author = {Pierre C Bellec},
journal= {arXiv preprint arXiv:2501.02624},
year = {2026}
}