折叠凹惩罚估计的强神谕最优性

折叠凹惩罚方法已被证明在高维稀疏估计中具有强神谕性质。然而，折叠凹惩罚问题通常存在多个局部解，且神谕性质仅针对其中一个未知的局部解建立。一个具有挑战性的基本问题仍然存在，即尚不清楚由给定优化算法计算出的局部最优解是否具备这些良好的理论性质。为了填补这一超过十年的重要理论空白，我们提供了一个统一理论，明确展示如何通过局部线性近似算法获得神谕解。对于折叠凹惩罚估计问题，我们表明只要问题是可局部化的且神谕估计量表现良好，我们就可以通过单步局部线性近似获得神谕估计量。此外，一旦获得神谕估计量，局部线性近似算法即收敛，即在下一步迭代中产生相同的估计量。我们通过四个经典的稀疏估计问题展示了该一般理论，即稀疏线性回归、稀疏逻辑回归、稀疏精度矩阵估计和稀疏分位数回归。