Genie：一种快速且抗离群点的新型层次聚类算法
机器学习
2022-09-14 v1 机器学习
摘要
应用层次聚类算法所需时间通常受制于成对相异度量的计算次数。对于较大数据集，此类约束使得除单连接外的所有经典连接准则处于劣势。然而，已知单连接聚类算法对离群点非常敏感，会产生高度偏斜的树状图，因此通常不能反映真实潜在数据结构——除非各类簇分离良好。为克服其局限，我们提出一种称为Genie的新型层次聚类连接准则。具体而言，我们的算法以如下方式连接两个簇：所选经济不平等度量（如基尼或Bonferroni指数）的簇大小不会急剧超过给定阈值。所给基准表明该引入方法具有高实用价值：它常在聚类质量上优于Ward或平均连接，同时保留单连接的速度。Genie算法易于并行化，从而可多线程运行以进一步加速执行。其内存开销小：无需预计算完整距离矩阵即可完成计算以获得所需聚类。它可应用于配备相异度量的任意空间，例如实向量、DNA或蛋白质序列、图像、排序、信息计量数据等。该算法的参考实现已包含在开源R包'genie'中。亦可见https://genieclust.gagolewski.com获取新实现（genieclust）——可用于R与Python。
引用
@article{arxiv.2209.05757,
title = {Genie: A new, fast, and outlier-resistant hierarchical clustering algorithm},
author = {Marek Gagolewski and Maciej Bartoszuk and Anna Cena},
journal= {arXiv preprint arXiv:2209.05757},
year = {2022}
}