再生核 Hilbert 空间中用于二分类的基于梯度的变量选择
机器学习
2021-09-30 v1 机器学习
摘要
变量选择在高维数据分析中至关重要。尽管已经开发了各种变量选择方法，但大多数依赖于线性模型假设。本文提出了一种针对由再生核 Hilbert 空间（RKHS）定义的大间隔分类器的非参数变量选择方法。我们提出了大间隔分类器的基于梯度的表示，然后通过 group-lasso 惩罚对梯度函数进行正则化，以获得自然导致变量选择的稀疏梯度。我们提出使用逐组极大化下降算法（GMD, Yang and Zou, 2015）来高效地求解具有大量参数的所提问题。我们采用强序列规则（Tibshirani et al., 2012）来促进调参过程。通过获取估计分类器及其梯度的风险界，确立了所提方法的选择一致性。最后，我们通过模拟和真实数据说明，展示了所提方法的优异性能。
引用
@article{arxiv.2109.14282,
title = {A gradient-based variable selection for binary classification in reproducing kernel Hilbert space},
author = {Jongkyeong Kang and Seung Jun Shin},
journal= {arXiv preprint arXiv:2109.14282},
year = {2021}
}
备注
22 pages, 2 figures