基于二元同时扰动随机近似的特征选择
机器学习
2016-03-08 v3 机器学习
摘要
在处理当今具有海量特征的高度复杂模式识别问题时，特征选择 (FS) 已成为一项不可或缺的任务。在本研究中，我们提出了一种基于二元同时扰动随机近似 (BSPSA) 的新的 FS 包装法。该伪梯度下降随机算法从一个初始特征向量出发，通过 successive iterations 逐步逼近最优特征向量。在每次迭代中，当前特征向量的各个分量被一个合格概率分布产生的随机偏移量同时扰动。我们在特征数量从几十到数千的数据集上进行了计算实验，使用了三种广泛使用的分类器作为包装器：最近邻、决策树和线性支持向量机。我们以交叉验证分类错误率和 AUC 作为性能标准，将我们的方法与完整特征集、二元遗传算法以及序列 FS 方法进行了比较。结果表明，BSPSA 选取的特征在总体上优于其他替代方法，并且通过检验极小比例的解空间，BSPSA 能够为具有数万特征的数据集产生优异的特征集。我们尚未发现有其他包装法 FS 方法在处理如此大规模数据集时既具有计算可行性又具备良好的收敛性。
关键词
引用
@article{arxiv.1508.07630,
title = {Feature Selection via Binary Simultaneous Perturbation Stochastic Approximation},
author = {Vural Aksakalli and Milad Malekipirbazari},
journal= {arXiv preprint arXiv:1508.07630},
year = {2016}
}
备注
This is the Istanbul Sehir University Technical Report #SHR-ISE-2016.01. A short version of this report has been accepted for publication at Pattern Recognition Letters