贝叶斯不平衡影响指数：一种面向分类问题的类不平衡数据集度量
机器学习
2019-01-30 v1 机器学习
摘要
近期研究表明，不平衡比率并非不平衡数据分类中分类器性能下降的唯一原因。事实上，其他数据因素，如小析取、噪声与重叠，也与不平衡比率协同起作用，使问题困难。迄今，实证研究仅展示了不平衡比率与其他数据因素之间的关系。据我们所知，尚无任何关于类不平衡对不平衡数据分类性能影响程度的度量。进一步，对于某个数据集，究竟哪个数据因素才是分类的主要障碍也未知。本文聚焦于贝叶斯最优分类器，从理论角度研究类不平衡的影响。相应地，我们提出一种样本层面度量，称为个体贝叶斯不平衡影响指数（），以及一种数据层面度量，称为贝叶斯不平衡影响指数（）。 与 分别就每个少数类样本与整个数据集，纯粹反映由不平衡这一因素所造成的影响程度。因此， 可用作不平衡的样本复杂度度量， 是表明不平衡使分类恶化程度的一个准则。据此，我们可用 来判断是否值得使用采样或代价敏感方法等不平衡恢复方法来挽回分类器的性能损失。实验表明，在合成与真实基准数据集上， 与不平衡恢复方法所带来的预测分数提升高度一致， 与不平衡恢复方法所带来的 F1 分数提升高度一致。
引用
@article{arxiv.1901.10173,
title = {Bayes Imbalance Impact Index: A Measure of Class Imbalanced Dataset for Classification Problem},
author = {Yang Lu and Yiu-ming Cheung and Yuan Yan Tang},
journal= {arXiv preprint arXiv:1901.10173},
year = {2019}
}
备注
13 pages