一种结合互信息的类GA动态概率特征选择方法
信息论
2022-10-24 v1 机器学习
神经与进化计算
math.IT
摘要
特征选择在提升分类器性能方面起着至关重要的作用。然而，现有方法未能有效区分所选特征间的复杂交互。为进一步消除这些隐藏的负面交互，我们提出一种结合互信息的类GA动态概率（GADP）方法，其具有两层结构。第一层应用互信息方法获得初始特征子集。作为第二层的类GA动态概率算法基于前述候选特征挖掘更多支持性特征。本质上，类GA方法属于基于种群的算法之一，因此其工作机制类似于 GA。不同于频繁聚焦于改进 GA 算子以增强搜索能力并降低收敛时间的流行工作，我们大胆舍弃 GA 算子，采用依赖于每条染色体性能的动态概率来确定新一代中的特征选择。动态概率机制显著减少了 GA 中的参数数量，使其易于使用。由于每个基因的概率相互独立，GADP 中染色体的多样性比传统 GA 更显著，这确保 GADP 具有更宽的搜索空间并更有效准确地选择相关特征。为验证方法的优越性，我们在 15 个数据集上的多种条件下进行评估。结果展示了所提方法的优异性能，总体上它具有最佳准确率。此外，我们还将所提模型与 POS、FPA 和 WOA 等流行启发式方法比较，我们的模型仍具优势。
引用
@article{arxiv.2210.11954,
title = {A GA-like Dynamic Probability Method With Mutual Information for Feature Selection},
author = {Gaoshuai Wang and Fabrice Lauri and Amir Hajjam El Hassani},
journal= {arXiv preprint arXiv:2210.11954},
year = {2022}
}
备注
18 pages; submitted to Applied Intelligence