SPSA-FSR：用于特征选择与排序的同时扰动随机逼近法
机器学习
2018-04-17 v1 机器学习
摘要
本稿件给出如下内容：（1）基于由Barzilai与Borwein（BB）方法计算的非单调迭代增益的二值同时扰动随机逼近（SPSA）机器学习特征选择方法的改进版（Aksakalli与Malekipirbazari, Pattern Recognition Letters, Vol. 75, 2016）；（2）其针对特征排序的适配；以及（3）在公开基准数据集上与流行方法的比较。该改进方法我们称之为SPSA-FSR，在不影响解质量的前提下大幅减少收敛所需迭代次数。SPSA-FSR可用于分类与回归问题的特征排序与特征选择。在回顾当前最优水平后，我们详述改进并给出三组计算实验：（1）将SPSA-FS作为（封装式）特征选择方法与序列式方法及遗传算法比较；（2）在分类设定下将SPSA-FS作为特征排序方法与随机森林重要性、卡方及信息主方法比较；（3）在回归设定下将SPSA-FS作为特征排序方法与最小冗余最大相关（MRMR）、RELIEF及线性相关方法比较。所用数据集特征数从数十至数千不等。结果表明SPSA-FS在不超过100次迭代内收敛至良好特征集，因而作为封装式方法相当快速。SPSA-FS在多数测试用例中也优于流行特征选择及特征排序方法，有时优势显著，堪称一种有前景的新特征选择与排序方法。
引用
@article{arxiv.1804.05589,
title = {SPSA-FSR: Simultaneous Perturbation Stochastic Approximation for Feature Selection and Ranking},
author = {Zeren D. Yenice and Niranjan Adhikari and Yong Kai Wong and Vural Aksakalli and Alev Taskin Gumus and Babak Abbasi},
journal= {arXiv preprint arXiv:1804.05589},
year = {2018}
}
备注
The methodology introduced in this manuscript, both for feature selection and feature ranking, has been implemented as the "spFSR" R package