中文

在比例区间内,Lasso误差有界当且仅当其活跃集大小与n有界远离

统计理论 2025-01-07 v1 统计理论

摘要

本文注记在比例区间(即维度pp和样本量nn同阶)内,对线性模型中的Lasso b^\hat b进行了分析,且对真实回归向量没有任何稀疏性或L1L1假设。在高斯设计且协方差矩阵的谱与0和++\infty有界远离的情况下,证明了L2L2风险是随机有界的,当且仅当所选变量的数量与nn有界远离,即当n,p+n,p\to+\infty时,(1b^0/n)1=OP(1)b^b2=OP(1) (1-\|\hat b\|_0/n)^{-1} = O_P(1) \Longleftrightarrow \|\hat b- b^*\|_2 = O_P(1) 。从右到左的蕴含关系排除了稠密Lasso估计(具有接近nn个活跃变量的估计)具有常数风险的可能性,这可用于排除导致稠密估计的调谐参数。然后我们将稀疏性重新引入画面,并重新审视了精确的相变,该相变刻画了导致无界Lasso风险的真实回归向量的稀疏模式——或由上述等价性,导致稠密Lasso估计的稀疏模式。这一精确相变由\citet{miolane2018distribution,celentano2020lasso}利用等价序列模型中的不动点方程建立。本文利用简单的论证提供了该相变的另一种证明,而不依赖于不动点方程或等价序列模型。对著名的限制特征值论证的修改,使得分析能够扩展到任意常数阶的小调谐参数,从而在相变的一侧导出有界风险。在相变的另一侧,证明了对于给定的符号模式,只要基追踪在无噪问题中无法恢复该符号模式,Lasso风险就可能无界。

关键词

引用

@article{arxiv.2501.02601,
  title  = {The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime},
  author = {Pierre C. Bellec},
  journal= {arXiv preprint arXiv:2501.02601},
  year   = {2025}
}