刻画 M-估计器精确误差的非线性方程解的存在性

在过去十年中，人们利用近似消息传递或凸高斯极小极大定理（CGMT）等强大工具，在正比渐近机制下（即样本量 $n$ 和特征数 $p$ 同时增加使得 $n/p\to \delta \in(0,\infty)$），刻画了高维回归问题中正则化 M-估计器的渐近行为，取得了重大进展。正则化 M-估计器的渐近误差和行为通常由一个包含少数标量未知数的非线性方程组来描述，该方程组的解精确刻画了渐近误差。CGMT 及相关机制的应用要求该低维方程组或相关的标量凸最小化问题解的存在性与唯一性。本文针对具有独立加性噪声的线性模型，在数据拟合损失函数和正则化项均可分且凸的情况下，解决了该低维方程组解的存在性与唯一性问题。此前仅在强凸性或特定估计器（如 Lasso）的情况下已知此类存在性结果。该存在性结果背后的主要思想受 Montanari 等人 [2023] 和 Celentano 等人 [2023] 在不同背景下发展的论证启发：通过在无限维 Hilbert 空间中构造一个特定的凸最小化问题，该优化问题的 Lagrange 乘子的存在性使得构造所关注的低维方程组的显式解成为可能。我们导出该存在性结果的条件恰好对应于完美恢复 $\hat{x} = x_0$ 失败的相变一侧，因此这些条件是最优的。