部分光滑正则化子的自由度

本文研究正则化回归问题，其中先验正则化子是固有的下半连续凸函数，且相对于 Riemannian 子流形是部分光滑的。这涵盖了几种已知的惩罚函数作为特例，如 Lasso（$\ell^1$-范数）、group Lasso（$\ell^1-\ell^2$-范数）、$\ell^\infty$-范数以及核范数。这也包括所谓的分析型先验，即上述惩罚函数与线性算子的复合，典型例子是全变分或 fused Lasso 惩罚函数。我们研究任意正则化极小解对观测扰动的敏感性，并给出其精确的局部参数化。我们的主要敏感性分析结果表明，当观测发生微小扰动时，预测变量在局部稳定地沿同一活动子流形移动。这种局部稳定性是正则化子限制在活动子流形上时具有光滑性的结果，这进而对获得预测变量相对于观测变化的闭式表达式起到了关键作用。我们还证明，对于包括多面体惩罚函数、group Lasso 及其分析对应物在内的多种正则化子，该散度公式在 Lebesgue 几乎处处成立。当扰动是随机的（具有适当的连续分布）时，这使我们能够导出自由度及估计预测风险的无偏估计量。我们的结果无需要求设计矩阵为列满秩即可成立。它们推广了文献中已有的结果，如 Lasso 问题、广义 Lasso 问题（分析型 $\ell^1$-惩罚函数）或 group Lasso，其中针对后者的现有结果假设设计矩阵为列满秩。