在比例区间内,Lasso误差有界当且仅当其活跃集大小与n有界远离
统计理论
2025-01-07 v1 统计理论
摘要
本文注记在比例区间(即维度和样本量同阶)内,对线性模型中的Lasso 进行了分析,且对真实回归向量没有任何稀疏性或假设。在高斯设计且协方差矩阵的谱与0和有界远离的情况下,证明了风险是随机有界的,当且仅当所选变量的数量与有界远离,即当时,。从右到左的蕴含关系排除了稠密Lasso估计(具有接近个活跃变量的估计)具有常数风险的可能性,这可用于排除导致稠密估计的调谐参数。然后我们将稀疏性重新引入画面,并重新审视了精确的相变,该相变刻画了导致无界Lasso风险的真实回归向量的稀疏模式——或由上述等价性,导致稠密Lasso估计的稀疏模式。这一精确相变由\citet{miolane2018distribution,celentano2020lasso}利用等价序列模型中的不动点方程建立。本文利用简单的论证提供了该相变的另一种证明,而不依赖于不动点方程或等价序列模型。对著名的限制特征值论证的修改,使得分析能够扩展到任意常数阶的小调谐参数,从而在相变的一侧导出有界风险。在相变的另一侧,证明了对于给定的符号模式,只要基追踪在无噪问题中无法恢复该符号模式,Lasso风险就可能无界。
引用
@article{arxiv.2501.02601,
title = {The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime},
author = {Pierre C. Bellec},
journal= {arXiv preprint arXiv:2501.02601},
year = {2025}
}