关于互信息次优估计在特征选择与分类中的影响
机器学习
2021-01-12 v3 机器学习
摘要
本文引入统计关联强度估计量的一个新性质，有助于刻画估计量在需要对连续与离散随机变量间依赖关系进行排序的场景中的表现。这一称为估计量响应曲线的新性质易于计算，并提供与边缘分布无关的评估估计量表现的方式。它克服了当前评估度量（包括统计功效、偏差与一致性）的显著缺陷。我们利用估计量响应曲线检验各种满足数据处理不等式（DPI）的关联强度度量，并表明 CIM 估计量的表现优于互信息的 kNN、vME、AP 与 H_{MI} 估计量。根据估计量响应曲线被判定为次优的估计量，在来自四个不同科学领域、具有不同维数与规模的真实数据测试中，表现劣于更优的估计量。
引用
@article{arxiv.1804.11021,
title = {On the Effect of Suboptimal Estimation of Mutual Information in Feature Selection and Classification},
author = {Kiran Karra and Lamine Mili},
journal= {arXiv preprint arXiv:1804.11021},
year = {2021}
}