驯服核特征选择中的非凸性——拉普拉斯核的良好性质

基于核的特征选择是非参数统计中的重要工具。尽管基于核的特征选择有许多实际应用，但支持该方法的统计理论很少。核心挑战是用于定义基于核的特征选择的优化问题的目标函数是非凸的。文献仅研究了全局最优的统计性质，这存在错配，因为可用于非凸优化的基于梯度的算法只能保证收敛到局部极小值。通过研究基于核方法相关的完整景观，我们表明使用拉普拉斯核（及其他 $\ell_1$ 核）的特征选择目标带有其他核（包括 ubiquitous 的高斯核或其他 $\ell_2$ 核）所不具备的统计保证。基于对目标函数梯度的精确刻画，我们表明 $\ell_1$ 核消除了使用 $\ell_2$ 核时出现的不良驻点。借助该洞见，我们建立了不要求达到全局极小值的 $\ell_1$ 核特征选择的统计保证。特别地，我们在 $n \sim \log p$ 样本的非参数设定下，建立了 $\ell_1$ 核特征选择在恢复主效应与层次交互作用上的模型选择一致性。