从交叉验证到 SURE：调优正则化估计器的渐近风险
统计理论
2026-03-24 v1 机器学习
计量经济学
机器学习
统计理论
摘要
我们推导了通过 折交叉验证（CV）调谐的正则化经验风险最小化（ERM）估计器的渐近风险函数。此类估计器的抽样外预测损失在分布上收敛于正态均值模型中通过 Stein 不偏风险估计（SURE）调谐的收缩估计器的平方误差损失（风险函数）。该风险函数提供了比学习理论中常见的统一最坏后悔上限更细致的预测性能图景：它量化了风险随真实参数变化的规律。作为关键中间步骤，我们表明（i） 折 CV 在分布上均匀收敛于 SURE，且（ii）虽然 SURE 通常存在多个局部极小值，但其全局最小值通常被良好分离。良好分离确保了 CV 向 SURE 的均匀收敛转化为由 CV 选择的调谐参数收敛于由 SURE 选择的调谋参数。
引用
@article{arxiv.2603.20388,
title = {From Cross-Validation to SURE: Asymptotic Risk of Tuned Regularized Estimators},
author = {Karun Adusumilli and Maximilian Kasy and Ashia Wilson},
journal= {arXiv preprint arXiv:2603.20388},
year = {2026}
}