非线性 SVM 中嵌入式特征选择的组合方法
最优化与控制
2025-08-01 v1
摘要
嵌入式特征选择（FS）是可解释机器学习的一种经典方法，旨在训练模型的同时识别数据集最相关的特征。我们考虑一种基于硬基数约束的非线性 SVM 方法。据我们所知，硬约束方法此前仅针对线性 SVM 的原始公式提出。相比之下，我们将硬基数约束直接嵌入到非线性 SVM 的对偶问题中，在保证对所选特征数量进行严格控制的同时，仍能利用核化技巧。我们将该问题表述为混合整数非线性规划（MINLP）模型。作为第一项贡献，我们提出了一种适用于一般非线性核的局部搜索元启发式算法。我们的第二项也是主要贡献是一个分解框架，该框架在两个子问题之间交替优化：一个仅涉及连续变量，另一个仅涉及二进制变量。对于多项式核，我们证明该二进制子问题可归约为基数约束下的子模函数最大化问题，从而能够在交替优化过程中使用可扩展的子模最大化算法。数值实验表明，我们的算法在求解所提出的 MINLP 方面显著优于标准方法，为所探讨的特征选择问题提供了更有效的解决方案。
引用
@article{arxiv.2507.23711,
title = {Combinatorial Approaches for Embedded Feature Selection in Nonlinear SVMs},
author = {Federico D'Onofrio and Yuri Faenza and Laura Palagi},
journal= {arXiv preprint arXiv:2507.23711},
year = {2025}
}