将朴素贝叶斯用作判别分类器

对于分类任务，概率模型可分为两类互不相交的类别：生成式或判别式。这取决于给定观测$y$下标签$x$的后验概率$p(x | y)$的计算。一方面，生成式分类器（如朴素贝叶斯或隐马尔可夫模型（HMM））需先计算联合概率$p(x,y)$，再借助贝叶斯法则计算$p(x | y)$。另一方面，判别式分类器直接计算$p(x | y)$，而不管观测的分布律。它们如今被大量使用，模型包括逻辑回归、条件随机场（CRF）和人工神经网络。然而，近期的熵前向-后向算法表明，被视为生成式模型的HMM同样可符合判别式模型的定义。此例引出一个问题：其他生成式模型是否亦然。本文中，我们展示朴素贝叶斯分类器同样可符合判别分类器的定义，故其能以生成式或判别式方式使用。此外，该观察也探讨了生成-判别对的概念，例如将朴素贝叶斯与逻辑回归、或HMM与CRF相联系。就此点而言，我们表明逻辑回归可视为以判别式方式使用的朴素贝叶斯的特例。