一种用于特征选择的自适应邻域划分全条件互信息最大化方法
信息论
2023-06-28 v2 math.IT
摘要
特征选择用于剔除冗余特征并保留相关特征，能够提升机器学习算法的性能并加快计算速度。在各类方法中，互信息因能有效度量变量相关性而受到越来越多关注。然而，现有工作主要聚焦于最大化特征与类标签的相关性以及最小化已选特征内部的冗余，我们认为追求特征冗余最小化虽合理但非必要，因为部分所谓冗余特征也携带有助于提升性能的有用信息。在互信息计算方面，若无恰当的邻域划分，可能扭曲两变量间的真实关系。传统方法通常将连续变量划分为若干区间甚至忽略此种影响。我们从理论上证明了变量波动如何对互信息计算产生负面影响。为消除所述障碍，针对特征选择方法，我们提出一种全条件互信息最大化方法（FCMIM），其仅从两个方面考虑特征相关性。为获得更好的划分效果并消除属性波动的负面影响，我们提出一种自适应邻域划分算法（ANP），以互信息最大化算法的反馈为导向，该反向传播过程有助于搜索合适的邻域划分参数。我们在 17 个基准数据集上将所提方法与若干互信息方法进行比较。FCMIM 基于不同分类器的结果均优于其他方法。结果表明，ANP 确实提升了几乎所有互信息方法的性能。
引用
@article{arxiv.2210.12002,
title = {An Adaptive Neighborhood Partition Full Conditional Mutual Information Maximization Method for Feature Selection},
author = {Gaoshuai Wang and Fabrice Lauri and Pu Wang and Hongyuan Luo and Amir Hajjam lL Hassani},
journal= {arXiv preprint arXiv:2210.12002},
year = {2023}
}
备注
modification