在相关空间中建立距离函数和内部聚类有效性指数的有效性
摘要
Internal clustering validity indices（ICVIs）在没有 ground truth 标签的情况下评估聚类质量。一致的比较研究发现，没有单个 ICVI 在数据集上均超越其他指数，这给实践者带来了在没有原则指导下选择 ICVI 的困境。我们认为，ICVI 性能不一致的原因在于研究基于匹配人类标签来评估它们，而不是使用没有形式化量化结构类型和质量的数据来衡量发现的数据结构质量。结构类型指聚类旨在发现的数据中的数学组织。在有效性理论要求对聚类质量进行理论定义的前提下，这取决于结构类型。我们通过为时间序列相关关系聚类提供的结构类型（correlation patterns）进行第一个有效性评估来展示这一点。我们将 23 个标准相关图案 formalize 为理论最优聚类，并使用受控扰动的合成数据来评估有效性，覆盖内容、准则、构建和外部有效性。我们的发现表明，Silhouette Width Criterion（SWC）和 Davies-Bouldin Index（DBI）对相关图案是有效的，而 Calinski-Harabasz（VRC）和 Pakhira-Bandyopadhyay-Maulik（PBM）指数则不通过。简单 Lp 范数距离实现了有效性，而相关特定函数在结构、准则和外部有效性方面均未通过。这与以往研究不同，以 VRC 和 PBM 在相关图案中表现良好，表明有效性取决于结构类型。我们的结构类型特定的验证方法提供了实用指导（质量阈值 SWC>0.9，DBI<0.15）以及建立其他结构类型有效性的方法论模板。
引用
@article{arxiv.2507.16497,
title = {Establishing Validity for Distance Functions and Internal Clustering Validity Indices in Correlation Space},
author = {Isabella Degen and Zahraa S Abdallah and Kate Robson Brown and Henry W J Reeve},
journal= {arXiv preprint arXiv:2507.16497},
year = {2025}
}
备注
26 pages (51 total), 10 figs. v2: Reframed using validity theory - only valid ICVIs/DFs ranked. ICVI results hold, DF results updated. Graphics revised. Appendix extended. First structure-type-specific validity assessment of ICVIs and distance functions for correlation patterns. Establishes SWC/DBI as valid whilst VRC/PBM fail. Provides practical quality thresholds and methodological template