中文

一种面向大量簇聚类的高性能外部有效性指标

数据结构与算法 2024-09-24 v1 计算机科学与博弈论 机器学习

摘要

本文提出了基于稳定匹配的配对(SMBP)算法,这是一种用于评估具有大量簇的大规模数据集聚类性能的高性能外部有效性指标。SMBP 利用稳定匹配框架对不同聚类方法产生的簇进行配对,将计算复杂度从传统最大权重匹配(MWM)的 O(N3)O(N^3) 显著降低至 O(N2)O(N^2)。通过在真实数据集和合成数据集上的全面评估,SMBP 展现出与 MWM 相当的准确度以及更优的计算效率。该算法对平衡、不平衡以及具有大量簇的大规模数据集尤为有效,使其成为现代聚类任务中可扩展且实用的解决方案。此外,SMBP 易于在 PyTorch 和 TensorFlow 等机器学习框架中实现,为大数据应用提供了稳健的工具。该算法通过大量实验得到了验证,展示了其作为现有方法(如最大匹配度量(MMM)和质心比率(CR))强大替代方案的潜力。

关键词

引用

@article{arxiv.2409.14455,
  title  = {A High-Performance External Validity Index for Clustering with a Large Number of Clusters},
  author = {Mohammad Yasin Karbasian and Ramin Javadi},
  journal= {arXiv preprint arXiv:2409.14455},
  year   = {2024}
}

备注

16 pages, 14 tables