作为聚类质量度量的ROC曲线下面积
机器学习
2023-04-05 v2 机器学习
摘要
接收者操作特征（ROC）曲线下面积，即AUC，是监督学习领域中著名的性能度量。由于其引人注目的特性，许多研究采用它来评估和比较不同分类器的性能。本文中，我们探索将AUC作为无监督学习领域、更具体地说是聚类分析背景下的性能度量。特别地，我们详述了将AUC用作聚类质量的内部/相对度量，称之为聚类用曲线下面积（AUCC）。我们证明了给定候选聚类解的AUCC在随机聚类解零模型下具有期望值，与数据集大小无关，且更重要的是，与所评估聚类的数量或（不）平衡性无关。此外，我们详述了这样一个事实：在我们所考虑的内部/相对聚类验证背景下，AUCC实际上是Baker和Hubert（1975）提出的Gamma准则的线性变换，我们也为其正式推导了随机聚类的理论期望值。我们还讨论了这些准则的计算复杂度，并表明尽管Gamma的普通实现可能在计算上令人望而却步且对大多数聚类分析实际应用不切实际，但其与AUCC的等价性实际上揭示了一种更高效的算法流程。我们的理论发现得到了实验结果的支持。这些结果表明，除了AUCC提供的有效且稳健的定量评估外，ROC曲线本身的可视化检查也有助于从更宽泛的定性视角进一步评估候选聚类解。
引用
@article{arxiv.2009.02400,
title = {The Area Under the ROC Curve as a Measure of Clustering Quality},
author = {Pablo Andretta Jaskowiak and Ivan Gesteira Costa and Ricardo José Gabrielli Barreto Campello},
journal= {arXiv preprint arXiv:2009.02400},
year = {2023}
}
备注
37 pages, 5 figures, submitted for publication