通过正则化技术的高阶分析克服相变的局限性

我们研究从噪声线性观测 $y= X\beta+ w$（其中 $w \sim N(0, \sigma_w^2 I_{n\times n})$）估计 $\beta \in \mathbb{R}^p$ 的问题，在下列高维渐近情形下：给定固定数 $\delta$，$p \rightarrow \infty$，同时 $n/p \rightarrow \delta$。我们考虑流行的 $\ell_q$ 正则化最小二乘（LQLS）估计类，亦称 bridge，由优化问题给出：\begin{equation*} \hat{\beta} (\lambda, q ) \in \arg\min_\beta \frac{1}{2} \|y-X\beta\|_2^2+ \lambda \|\beta\|_q^q, \end{equation*} 并刻画 $\frac{1}{p} \|\hat{\beta} (\lambda, q )- \beta\|_2^2$ 的几乎必然极限。我们导出的该极限表达式没有显式形式，因此在比较不同算法或提供评估 $\delta$ 或 $\beta$ 稀疏水平影响的信息方面无用。为简化表达式，研究者考虑了理想的“无噪声”情形，并刻画了几乎必然极限为零时的 $\delta$ 值。这被称为相变分析。本文中，我们首先进行 LQLS 的相变分析。我们的结果揭示了相变分析的一些局限性和误导性特征。为克服这些局限性，我们提出在低噪声情形下研究这些算法。我们的新分析框架不仅阐明了相变分析的结果，还使得对不同正则化器进行准确比较成为可能。