朴素特征选择：稀疏朴素贝叶斯的近紧凸松弛
机器学习
2025-03-13 v4 机器学习
摘要
由于其线性复杂度，朴素贝叶斯分类仍然是一种有吸引力的监督学习方法，特别是在超大规模设定中。我们提出了朴素贝叶斯的稀疏版本，可用于特征选择。这导致了一个组合最大似然问题，对于二值数据我们提供了精确解，对于多项分布情形提供了界。我们利用由 Shapley-Folkman 定理导出的先验对偶间隙界，证明了当附加特征的边际贡献减小时，我们的凸松弛界变得紧。我们展示了如何产生满足这些界的原始解。二值和多项稀疏模型均可在几乎与问题规模成线性的时间内求解，相对于经典朴素贝叶斯仅代表非常小的额外相对成本。在文本数据上的数值实验表明，朴素贝叶斯特征选择方法在统计上与递归特征消除、 惩罚逻辑回归和 LASSO 等最先进特征选择方法同样有效，同时速度快几个数量级。
引用
@article{arxiv.1905.09884,
title = {Naive Feature Selection: a Nearly Tight Convex Relaxation for Sparse Naive Bayes},
author = {Armin Askari and Alexandre d'Aspremont and Laurent El Ghaoui},
journal= {arXiv preprint arXiv:1905.09884},
year = {2025}
}
备注
Fixed some cosmetic issues