稀疏重构中算法相变的临界行为与普适类

从多元线性回归的 $M$ 维测量向量 $\mathbf{y}$ 中恢复 $N$ 维、$K$ 稀疏解 $\mathbf{x}$，可通过最小化适当惩罚的最小均方代价 $||\mathbf{y}-\mathbf{H} \mathbf{x}||_2^2+\lambda V(\mathbf{x})$ 来实现。其中 $\mathbf{H}$ 为已知矩阵，$V(\mathbf{x})$ 为依赖于算法的稀疏诱导惩罚项。对于“随机” $\mathbf{H}$，在极限 $\lambda \rightarrow 0$ 且 $M,N,K\rightarrow \infty$ 下，保持 $\rho=K/N$ 与 $\alpha=M/N$ 固定，当 $\alpha$ 超过临界值 $\alpha_c = \alpha(\rho)$ 时可实现精确恢复。假设 $\mathbf{x}$ 具有独立同分布分量，临界曲线表现出一定的普适性，即其形状不依赖于 $\mathbf{x}$ 的分布。然而，发生在 $\alpha=\alpha_c$ 的算法相变及相关的普适类从统计物理视角（即临界曲线附近的标度指数）仍知之甚少。本文分析了两种算法的平均场方程：基追踪（Basis Pursuit）（$V(\mathbf{x})=||\mathbf{x}||_{1}$）与弹性网络（Elastic Net）（$V(\mathbf{x})= ||\mathbf{x}||_{1} + \tfrac{g}{2} ||\mathbf{x}||_{2}^2$），并表明它们就标度指数意义而言属于不同的普适类：在临界线上小 $\lambda$ 时，恢复向量的均方误差（MSE）分别按 $\lambda^\frac{4}{3}$ 与 $\lambda$ 标度。在加性噪声存在时，我们发现当 $\alpha>\alpha_c$ 时，MSE 在 $\lambda$ 的非零值处取最小；而在 $\alpha=\alpha_c$ 时，MSE 始终随 $\lambda$ 增大而增大。