带有 Lasso 型过程的交叉验证的风险一致性

Lasso 及相关的稀疏诱导算法一直是大量理论和应用研究的目标。相应地，关于它们在固定或最优选择的调节参数（指定到未知常数）下的行为，已知许多结果。然而在实践中，这种 Oracle 调节参数是不可获得的，因此必须使用数据来选择。常见的统计实践是使用交叉验证的变体来完成此任务。然而，对于此类依赖数据的方法所产生的预测的理论性质，人们知之甚少。我们考虑随机设计的高维设定，其中预测变量数 $p$ 随观测数 $n$ 增长。在关于数据生成过程的典型假设下（类似于文献中的假设），当使用交叉验证选择调节参数时，我们恢复了相差一个对数因子的 Oracle 速率。在较弱的条件下，当真实模型不一定是线性时，我们证明了 Lasso 相对于其线性 Oracle 保持风险一致性。我们将这些结果推广到 Group Lasso 和 Square-root Lasso，并通过模拟研究了交叉验证的预测和模型选择性能。