高维设定下不可微惩罚留一交叉验证的理论分析
统计理论
2024-02-15 v2 机器学习
统计理论
摘要
尽管近期有大量重要工作致力于估计高维情形下正则化模型的样本外风险，但对广义 LASSO 和核范数等不可微惩罚的理论理解仍然缺失。在本文中，我们解决了这一挑战。我们在比例高维情形下研究此问题，其中样本量 n 和特征数 p 均很大，且 n/p 与（每次观测的）信噪比保持有限。我们给出了留一交叉验证（LO）在估计样本外风险时的期望平方误差的有限样本上界。本文提出的理论框架为阐明展示 LO 准确性的经验发现提供了坚实基础。
引用
@article{arxiv.2402.08543,
title = {Theoretical Analysis of Leave-one-out Cross Validation for Non-differentiable Penalties under High-dimensional Settings},
author = {Haolin Zou and Arnab Auddy and Kamiar Rahnama Rad and Arian Maleki},
journal= {arXiv preprint arXiv:2402.08543},
year = {2024}
}
备注
30 pages