聚类比较度量的机会校正
机器学习
2015-12-07 v1
摘要
经机会校正的度量被广泛用于比较同一数据集的划分/聚类。特别是，基于成对计数的调整兰德指数(ARI)和基于香农信息论的调整互信息(AMI)在聚类界非常流行。然而，每种度量的最佳应用场景是什么以及文献中对其使用的指导方针很少，这是一个开放问题，导致用户经常同时使用两者。基于Tsallis熵的广义信息论(IT)度量已被证明能联系成对计数与香农IT度量。本文旨在弥合基于成对计数的度量校正与基于信息论的度量校正之间的差距。我们解决了解析计算广义IT度量期望值与方差的关键技术挑战。这使我们能提出广义IT度量的校正，其退化为众所周知的调整聚类比较度量作为特例。利用广义IT度量理论，我们得以提出以下将ARI和AMI用作外部验证指标的准则：当参考聚类具有大小相等的大簇时，应使用ARI；当参考聚类不平衡且存在小簇时，应使用AMI。
引用
@article{arxiv.1512.01286,
title = {Adjusting for Chance Clustering Comparison Measures},
author = {Simone Romano and Nguyen Xuan Vinh and James Bailey and Karin Verspoor},
journal= {arXiv preprint arXiv:1512.01286},
year = {2015}
}