外部聚类有效性指标中的真值偏差
机器学习
2016-06-21 v1 机器学习
摘要
人们已经注意到，一些外部聚类有效性指标（CVI）对较多或较少数量的聚类表现出偏好偏差，这种偏差与候选划分中的聚类数量呈单调（正比或反比）关系。此类偏差是由 CVI 模型的函数形式引起的。例如，流行的 Rand 指数（RI）表现出单调递增（NCinc）偏差，而 Jaccard 指数（JI）则存在单调递减（NCdec）偏差。此类偏差在先前文献中已被认识到。在本工作中，我们识别出一种由作为比较基准的真值（参考）划分的分布所引起的新偏差。我们将这种新型偏差称为真值（GT）偏差。如果参考划分的变化导致 CVI 的偏差状态（例如 NCinc、NCdec）发生改变，就会出现这种偏差。例如，通过扭曲真值划分中的聚类分布，可以将 RI 中的 NCinc 偏差转变为 NCdec 偏差。用户有必要了解这种新型的偏差行为，因为它可能会影响对 CVI 结果的解释。本文旨在研究 GT 偏差的实证与理论影响。据我们所知，这是针对外部聚类有效性指标此类性质的首次广泛研究。
关键词
引用
@article{arxiv.1606.05596,
title = {Ground Truth Bias in External Cluster Validity Indices},
author = {Yang Lei and James C. Bezdek and Simone Romano and Nguyen Xuan Vinh and Jeffrey Chan and James Bailey},
journal= {arXiv preprint arXiv:1606.05596},
year = {2016}
}