面向高维不可微学习问题的近似留一法

考虑如下一类学习方案：\begin{equation} \label{eq:main-problem1} \hat{\boldsymbol{\beta}} := \underset{\boldsymbol{\beta} \in \mathcal{C}}{\arg\min} \;\sum_{j=1}^n \ell(\boldsymbol{x}_j^\top\boldsymbol{\beta}; y_j) + \lambda R(\boldsymbol{\beta}), \qquad \qquad \qquad (1) \end{equation} 其中 $\boldsymbol{x}_i \in \mathbb{R}^p$ 和 $y_i \in \mathbb{R}$ 分别表示第 $i$ 个特征与响应变量。令 $\ell$ 和 $R$ 为凸损失函数与正则化项，$\boldsymbol{\beta}$ 表示未知权重，$\lambda$ 为正则化参数。$\mathcal{C} \subset \mathbb{R}^{p}$ 为闭凸集。在 $n$ 和 $p$ 均很大的高维情形下，寻找 $\lambda$ 的最优选择是一个具有挑战性的问题。我们提出了三种框架，以对不可微损失和正则化项的留一交叉验证（LOOCV）风险获得计算高效的近似。我们的三种框架基于（1）的原问题、对偶问题和近端形式。每种框架在特定类型问题中展现出其优势。我们在光滑性条件下证明了三种方法的等价性。该等价性使我们能够在此类条件下论证三种方法的准确性。我们利用所提方法对若干标准问题（包括广义 LASSO、核范数正则化和支持向量机）获得风险估计。我们实证展示了我们的结果在不可微情形下的有效性。