超越 Hartigan 一致性：面向层次聚类的合并失真度量
机器学习
2015-07-14 v2 统计理论
统计理论
摘要
层次聚类是一种将树与数据集关联起来的流行数据分析方法。Hartigan 一致性已被广泛用作从统计角度分析此类聚类算法的框架。然而，如我们在文中所展示，与给定密度 Hartigan 一致的树可能与正确的极限树看起来非常不同。具体而言，Hartigan 一致性允许两种我们不期望出现的构型，我们称之为过度分割与不适当嵌套。此外，Hartigan 一致性是一种极限性质，并不能直接量化树之间的差异。在本文中，我们识别出两种极限性质——分离性与极小性——它们解决了过度分割与不适当嵌套问题，并且共同蕴含(但不被蕴含于)Hartigan 一致性。我们进而引入层次聚类之间的合并失真度量，并证明在该距离下的收敛同时蕴含分离性与极小性。我们还证明了一致的分离性与极小性蕴含于合并失真度量下的收敛。进一步，我们展示了我们的合并失真度量在密度扰动下是稳定的。最后，我们通过证明两种聚类算法的收敛结果来演示这些概念的适用性。首先，我们展示了 Chaudhuri 与 Dasgupta (2010) 近期提出的鲁棒单连接算法的收敛性(从而分离性与极小性)。其次，我们给出了拓扑分裂树聚类在流形上的收敛结果。
引用
@article{arxiv.1506.06422,
title = {Beyond Hartigan Consistency: Merge Distortion Metric for Hierarchical Clustering},
author = {Justin Eldridge and Mikhail Belkin and Yusu Wang},
journal= {arXiv preprint arXiv:1506.06422},
year = {2015}
}