通过熵惩罚在凸包中的稀疏恢复

设$(X,Y)$是$S\times T$上具有未知分布$P$的随机对,$(X_1,Y_1),...,(X_n,Y_n)$是$(X,Y)$的独立同分布副本。记$P_n$为$(X_1,Y_1),...,(X_n,Y_n)$的经验分布。设$h_1,...,h_N:S\mapsto [-1,1]$是由$N$个函数组成的字典。对于$\lambda \in {\mathbb{R}}^N$,记$f_{\lambda}:=\sum_{j=1}^N\lambda_jh_j$。设$\ell:T\times {\mathbb{R}}\mapsto {\mathbb{R}}$为给定的损失函数,并假设其对第二个变量是凸的。令$(\ell \bullet f)(x,y):=\ell(y;f(x))$。最后,设$\Lambda \subset {\mathbb{R}}^N$为$\{1,...,N\}$上所有概率分布的单纯形。考虑以下惩罚经验风险最小化问题:\begin{eqnarray*}\hat{\lambda}^{\varepsilon}:={\mathop {argmin}_{\lambda\in \Lambda}}\Biggl[P_n(\ell \bullet f_{\lambda})+\varepsilon \sum_{j=1}^N\lambda_j\log \lambda_j\Biggr]\end{eqnarray*}及其分布依赖版本:\begin{eqnarray*}\lambda^{\varepsilon}:={\mathop {argmin}_{\lambda\in \Lambda}}\Biggl[P(\ell \bullet f_{\lambda})+\varepsilon \sum_{j=1}^N\lambda_j\log \lambda_j\Biggr],\end{eqnarray*}其中$\varepsilon\geq 0$是正则化参数。证明了$\lambda^{\varepsilon}$的“近似稀疏性”蕴含$\hat{\lambda}^{\varepsilon}$的“近似稀疏性”,并探讨了“稀疏性”对经验解超额风险界限的影响。在熵惩罚密度估计的情形下也讨论了类似结果。