一种用于特征学习的组合核模型

我们研究了一种由坐标级重新加权输入所构成的预测函数的核岭回归的组合变体。作为一个变分问题，这一模型为组合架构中的特征学习提供了一个简单的测试场。从变量选择的角度来看，我们展示了如何恢复相关变量，同时消除噪声变量。我们建立了保证，表明全局最小化器和驻点都会在噪声变量为高斯分布时丢弃噪声坐标。一个核心发现是，$\ell_1$ 类型核（如拉普拉斯核）在驻点处成功恢复贡献于非线性效应的特征，而高斯核仅恢复线性特征。