特征选择中的自惩罚现象

我们描述了一种基于在一族核上最小化的隐式稀疏诱导机制：\begin{equation*} \min_{\beta, f}~\widehat{\mathbb{E}}[L(Y, f(\beta^{1/q} \odot X)] + \lambda_n \|f\|_{\mathcal{H}_q}^2~~\text{subject to}~~\beta \ge 0, \end{equation*} 其中 $L$ 为损失，$\odot$ 为按坐标乘法，$\mathcal{H}_q$ 是基于核 $k_q(x, x') = h(\|x-x'\|_q^q)$ 的再生核希尔伯特空间，其中 $\|\cdot\|_q$ 为 $\ell_q$ 范数。使用梯度下降针对 $\beta$ 优化该目标，会以高概率得到精确稀疏的驻点。该稀疏性是在未使用任何众所周知的显式稀疏化技术（如惩罚（例如 $\ell_1$）、早停或后处理（例如截断））的情况下实现的。作为一个应用，我们利用该稀疏诱导机制构建在特征选择上一致的算法。