基于交叉验证的超参数估计器在正则化最小二乘回归问题中的渐近最优性
统计理论
2021-04-28 v2 统计理论
摘要
文献中已针对正则化最小二乘回归问题，研究了具有不同最优性准则的各类超参数估计器的渐近最优性(a.o.)。这些估计器包括例如最大(边缘)似然法、C_p 统计量以及广义交叉验证法，而最优性准则基于例如无效性、期望无效性以及风险。本文中，我们考虑回归参数个数固定的正则化最小二乘回归问题，选取基于风险的最优性准则，并研究若干基于交叉验证(CV)的超参数估计器的 a.o.，包括留 k 个样本的交叉验证法、广义交叉验证法、r 折交叉验证法以及保留交叉验证法。我们发现前三种方法在温和假设下可以是渐近最优的，但最后一种不是，并且我们使用蒙特卡洛模拟来说明我们结论的有效性。
引用
@article{arxiv.2104.10471,
title = {On the Asymptotic Optimality of Cross-Validation based Hyper-parameter Estimators for Regularized Least Squares Regression Problems},
author = {Biqiang Mu and Tianshi Chen and Lennart Ljung},
journal= {arXiv preprint arXiv:2104.10471},
year = {2021}
}
备注
36 pages, 3 figures