广义 LASSO 的均方误差：精确分析

我们考虑从噪声线性观测 $y = Ax_0 + z\in R^m$ 中估计未知信号 $x_0$ 的问题。在许多实际情形中，$x_0$ 具有某种可通过结构诱导凸函数 $f(\cdot)$ 捕捉的结构。例如，$\ell_1$ 范数可用于鼓励稀疏解。为了借助 $f(\cdot)$ 估计 $x_0$，我们研究了著名的 LASSO 方法并对其性能进行了精确刻画。我们假设测量矩阵 $A$ 的元素和噪声向量 $z$ 分别具有均值为零、方差为 $1$ 和 $\sigma^2$ 的正态分布。对于 LASSO 估计量 $x^*$，我们试图计算归一化均方误差 (NSE)，定义为 $\frac{\|x^*-x_0\|_2^2}{\sigma^2}$，将其表示为噪声水平 $\sigma$、观测数量 $m$ 和信号结构的函数。我们表明，信号 $x_0$ 的结构和函数 $f(\cdot)$ 的选择通过汇总参数 $D(\text{cone})$ 和 $D(\lambda)$ 进入误差公式，这两个参数分别定义为到次微分锥和到 $\lambda$ 缩放次微分的高斯平方距离。第一个 LASSO 估计量假设已知 $f(x_0)$ 的先验知识，由 $\arg\min_{x}\{{\|y-Ax\|_2}~\text{subject to}~f(x)\leq f(x_0)\}$ 给出。我们证明其最坏情况下的 NSE 在 $\sigma\rightarrow 0$ 时达到，并集中在 $\frac{D(\text{cone})}{m-D(\text{cone})}$ 附近。其次，我们考虑 $\arg\min_{x}\{\|y-Ax\|_2+\lambda f(x)\}$，其中 $\lambda\geq 0$。此时 NSE 公式取决于 $\lambda$ 的选择，由 $\frac{D(\lambda)}{m-D(\lambda)}$ 给出。随后，我们建立了该估计量与第三个估计量 $\arg\min_{x}\{\frac{1}{2}\|y-Ax\|_2^2+ \lambda f(x)\}$ 之间的映射。最后，针对若干重要的结构化信号类，我们将抽象公式转化为 NSE 的闭式上界。