支持向量机中的结构化变量选择

将支持向量机 (SVM) 应用于高维分类问题时，我们通常在 SVM 中施加稀疏结构以消除无关预测变量的影响。Lasso 及其他变量选择技术已成功用于 SVM 以执行自动变量选择。在某些问题中，变量之间存在自然的层次结构。因此，为了获得可解释的 SVM 分类器，在 SVM 中实施稀疏性时遵循遗传原则 (heredity principle) 至关重要。然而，许多变量选择方法并不遵循遗传原则。本文利用 Yuan, Joseph 和 Zou (2007) 最初提出的所谓结构化变量选择 (SVS) 框架，在 SVM 中同时强制实施稀疏性和遗传原则。我们在一系列线性不等式约束和 Lasso 型惩罚下最小化经验铰链损失 (hinge loss)。该解始终遵循所需的遗传原则并具有稀疏性。由于该优化问题是一个线性规划问题，新的 SVM 分类器可以被高效拟合。本工作的另一贡献是提出了 SVS 框架的非参数扩展，并提出了非参数遗传 SVM。我们使用模拟数据和真实数据来说明所提出方法的优势。