关于使用相对有效性指标比较聚类方法的研究
机器学习
2025-10-02 v2 机器学习
摘要
相对有效性指标（RVI），如轮廓宽度准则和Davies-Bouldin指标，是评估和优化聚类结果最广泛使用的工具。传统上，它们对候选数据集划分集合进行排序的能力已被用于指导聚类数量的选择，并比较来自不同聚类算法的划分。然而，文献中有一个日益增长的趋势，即在为聚类选择相似性范式（SP）时使用RVI——相似性范式是归一化过程、表示方法和距离度量的组合，它影响聚类中使用的对象相异度的计算。尽管这种做法日益普遍，但尚无实证或理论研究探讨RVI是否适用于此目的。此外，由于RVI是使用对象相异度计算的，目前仍不清楚如何实现它们才能公平地比较不同的SP。本研究首次全面探讨了RVI用于SP选择的可靠性。我们使用七种流行的RVI，在超过270万个合成和真实世界数据集的聚类划分上进行了广泛实验，涵盖特征向量和时间序列数据。我们识别了从根本上削弱RVI用于SP选择的概念性局限，并且我们的实证发现证实了这种预测的不适用性。在我们的建议中，我们建议实践者转而通过在高质标注数据集上进行外部验证，或使用精心设计的、以结果为导向的客观标准来选择SP，这两种方法都应基于对数据集特征和领域需求的仔细考量。我们的发现对聚类方法论和评估具有重要意义，表明需要更严格的方法来进行SP选择。
引用
@article{arxiv.2404.10351,
title = {On the Use of Relative Validity Indices for Comparing Clustering Approaches},
author = {Luke W. Yerbury and Ricardo J. G. B. Campello and G. C. Livingston and Mark Goldsworthy and Lachlan O'Neil},
journal= {arXiv preprint arXiv:2404.10351},
year = {2025}
}