基于最优坐标上升的特征选择（OCA）

在机器学习中，特征选择（FS）是高效算法的重要组成部分。它为算法提供动力，是我们预测的起始模块。在本文中，我们提出一种称为最优坐标上升（OCA）的新方法，该方法允许我们在块特征和个体特征中选择特征。OCA 依靠坐标上升为梯度提升方法的得分（正确分类样本数）寻找最优解。OCA 在我们的优化中考虑了构成块的变量之间的依赖关系这一概念。坐标上升优化解决了原始 NP 困难问题（其中组合数量迅速爆炸使得网格搜索不可行）的难题。它大幅减少了迭代次数，将此 NP 困难问题转化为多项式搜索问题。与先前的坐标上升特征选择方法相比，OCA 带来了实质差异和改进：我们将变量分组为块变量和个体变量，而非二元选择。我们的初始猜测基于 k 个最佳组变量，使我们的初始点更鲁棒。我们还引入了新的停止准则，使我们的优化更快。我们在我们的数据集上比较了这两种方法。我们发现我们的方法优于初始方法。我们还将我们的方法与递归特征消除（RFE）方法进行比较，发现 OCA 以最高得分得到最小特征集。这是我们方法的一个良好副产品，因为它在经验上提供了具有最优性能的最紧凑数据集。