依赖情形下 $L_q$ 正则化的相变与高阶分析

我们研究从一组含噪观测 ${\bf y}\in{\bf R}^n$ 估计 $k$-稀疏信号 {\mbox{\beta}}_0\in{\bf R}^p 的问题，模型为 {\bf y}={\bf X}{\mbox{\beta}}+{\bf w}，其中 ${\bf X}\in{\bf R}^{n\times p}$ 为测量矩阵，其行抽取自分布 N(0,{\mbox{\Sigma}})。我们考虑由公式 \hat{\mbox{\beta}}(\lambda,q)=\text{argmin}_{{\mbox{\beta}}\in{\bf R}^p}\frac{1}{2}\|{\bf y}-{\bf X}{\mbox{\beta}}\|^2_2+\lambda\|{\mbox{\beta}}\|_q^q 给出的 $L_q$ 正则化最小二乘（LQLS）类，其中 $\|\cdot\|_q$ $(0\le q\le 2)$ 表示 $L_q$-范数。在 $p,n,k\rightarrow\infty$ 且固定 $k/p=\epsilon$ 与 $n/p=\delta$ 的设置下，我们推导了任意协方差矩阵 {\mbox{\Sigma}} 下 \hat{\mbox{\beta}}(\lambda,q) 的渐近风险，推广了现有标准高斯设计（即 $X_{ij}\overset{i.i.d}{\sim}N(0,1)$）的结果。我们在小误差 regime 下对LQLS进行高阶分析，其中首项可用于确定LQLS的相变行为。我们的结果表明，在 $0\le q< 1$ 与 $1< q\le 2$ 情形下首项不依赖于 {\mbox{\Sigma}} 的协方差结构，这表明预测变量间的相关性仅在 $q=1$（即LASSO）情形下影响相变曲线。为研究 {\mbox{\Sigma}} 协方差结构在 $0\le q< 1$ 与 $1<q\le 2$ 情形下对LQLS性能的影响，我们推导了渐近风险按小误差展开式中次主导项的显式公式。大量计算实验证实我们的分析预测与数值结果一致。