PPFS：预测性置换特征选择
机器学习
2024-10-11 v1
摘要
我们提出预测性置换特征选择（PPFS），一种基于 Markov 毯（MB）概念的新型包裹式特征选择方法。与先前的 MB 方法不同，PPFS 是一种通用特征选择技术，因为它可作用于包含类别和/或连续特征的数据集上的分类与回归任务。我们提出预测性置换独立性（PPI），一种新的条件独立性（CI）检验，其使 PPFS 可被归类为包裹式特征选择方法。这与当前基于滤波的 MB 特征选择技术形成对比，后者无法利用诸如梯度提升机（GBM）等监督算法的进展。PPI 检验基于 knockoff 框架并利用监督算法来度量单个或一组特征与目标变量之间的关联。我们还提出一种新颖的 MB 聚合步骤，解决了样本低效问题。在大量数据集上的实证评估与比较表明，PPFS 优于最先进的 Markov 毯发现算法以及知名的包裹式方法。我们还提供了我们方法正确性的证明概要。本工作的实现可在 \url{https://github.com/atif-hassan/PyImpetus} 获取。
引用
@article{arxiv.2110.10713,
title = {PPFS: Predictive Permutation Feature Selection},
author = {Atif Hassan and Jiaul H. Paik and Swanand Khare and Syed Asif Hassan},
journal= {arXiv preprint arXiv:2110.10713},
year = {2024}
}
备注
7 pages. For the implementation of this work, see https://github.com/atif-hassan/PyImpetus