分数朴素贝叶斯(FNB)：一种简约加权选择性朴素贝叶斯分类器的非凸优化
机器学习
2024-09-18 v1 机器学习
摘要
我们研究输入变量数量极大的数据集的监督分类。朴素贝叶斯分类器因其简单性、可扩展性以及在许多实际数据应用中的有效性而具有吸引力。当朴素贝叶斯关于输入变量在给定目标变量下条件独立的强假设不成立时，变量选择和模型平均是两种常见的改进性能的方法。对于朴素贝叶斯分类器，由此产生的模型加权方案简化为对变量的加权方案。这里我们专注于在这种加权朴素贝叶斯分类器中直接估计变量权重。我们提出了一种模型对数似然的稀疏正则化方法，该方法考虑了与每个输入变量相关的先验惩罚成本。与迄今为止使用的基于平均的分类器相比，我们的主要目标是获得具有更少变量和同等性能的简约稳健模型。变量权重的直接估计归结为一个非凸优化问题，为此我们提出并比较了几种两阶段算法。首先，使用几种标准梯度方法的变体来最小化通过凸松弛得到的准则。然后，使用以第一阶段结果初始化的局部优化方法来解决初始的非凸优化问题。所提出的各种算法产生了基于优化的加权朴素贝叶斯分类器，并在基准数据集上进行了评估，并与一个基于平均的参考分类器进行了比较。
引用
@article{arxiv.2409.11100,
title = {Fractional Naive Bayes (FNB): non-convex optimization for a parsimonious weighted selective naive Bayes classifier},
author = {Carine Hue and Marc Boullé},
journal= {arXiv preprint arXiv:2409.11100},
year = {2024}
}