交叉验证误差的 Rademacher 上界及其在 lasso 中的应用
机器学习
2020-07-31 v1 机器学习
摘要
我们建立了 折交叉验证（-CV）误差的一般上界，其可适用于许多基于 -CV 的估计量与学习算法。基于模型的 Rademacher 复杂度和误差过程的 Orlicz- 范数，该 CV 误差上界适用于轻尾与重尾误差分布。我们还利用独立分块技术将 CV 误差上界推广至 -混合数据。我们提供了一个 Python 包（\texttt{CVbound}，\url{https://github.com/isaac2math}）用于计算基于 -CV 算法中的 CV 误差上界。以 lasso 为例，我们在模拟中证明该上界在不同参数设置和随机种子下均紧致且稳定。除了精确界定 lasso 的 CV 误差外，新上界的最小化器还可作为变量选择准则。与 CV 误差最小化器相比，模拟表明依据上界最小化器调整 lasso 惩罚参数可得到更稀疏、更稳定且保留所有相关变量的模型。
引用
@article{arxiv.2007.15598,
title = {Rademacher upper bounds for cross-validation errors with an application to the lasso},
author = {Ning Xu and Timothy C. G. Fisher and Jian Hong},
journal= {arXiv preprint arXiv:2007.15598},
year = {2020}
}