基于混合整数优化的核 SVM 分类特征子集选择
机器学习
2022-05-31 v1 最优化与控制
机器学习
摘要
我们研究了用于二分类非线性核支持向量机（SVM）中特征子集选择的混合整数优化（MIO）方法。该方法最早于 1970 年代为线性回归提出，随着优化算法和计算机硬件的进步近期重新受到关注。本文的目标是建立一种 MIO 方法，用于为核 SVM 分类选择最佳特征子集。为衡量子集选择的性能，我们采用核目标对齐，即高维特征空间中两个响应类质心之间的距离。我们提出了一种基于核目标对齐的混合整数线性优化（MILO）公式进行特征子集选择，该 MILO 问题可使用优化软件求解至最优。我们还推导了 MILO 问题的简化版本以加速计算。实验结果表明，我们的 MILO 公式在简化问题下具有良好的计算效率。此外，我们的方法在预测性能上常优于基于线性 SVM 的 MILO 公式和递归特征消除，尤其在数据样本较少时。
引用
@article{arxiv.2205.14325,
title = {Feature subset selection for kernel SVM classification via mixed-integer optimization},
author = {Ryuta Tamura and Yuichi Takano and Ryuhei Miyashiro},
journal= {arXiv preprint arXiv:2205.14325},
year = {2022}
}