基于互信息分布的鲁棒特征选择

互信息在人工智能领域被广泛用于以描述性方式衡量离散随机变量之间的随机依赖性。为了回答诸如'经验值的可靠性'等问题，必须考虑样本到总体的推断方法。本文涉及互信息的分布，该分布通过第二阶Dirichlet先验分布在贝叶斯框架下获得。报告了均值的确切解析表达式以及方差的解析近似表达式。提出了分布的渐近近似方法。将这些结果应用于选择特征以进行增量学习和naive Bayes分类器的分类。我们展示了一种新定义的快速方法在多个真实数据集上优于基于经验互信息的传统方法。最后，报告了理论发展，允许以简单有效的方式将上述方法扩展到不完整样本。