在 ABCDE 中分解 Jaccard 距离与 Jaccard 指数
信息检索
2024-09-30 v1
摘要
ABCDE 是一种用于评估超大规模聚类间差异的复杂技术。其表征两个聚类间差异程度的主要度量是 JaccardDistance，它是固定（加权）项集的所有聚类空间中的一个真实距离度量。JaccardIndex 是表征两个聚类相似度的互补度量。它与 JaccardDistance 的关系很简单：JaccardDistance + JaccardIndex = 1。本文进一步分解了 JaccardDistance 和 JaccardIndex。在每种情况下，分解均产生 Impact 和 Quality 度量。Impact 度量衡量聚类差异的幅度方面，而 Quality 度量使用人工判断来衡量聚类差异在多大程度上改善了聚类的质量。本文的分解为聚类变化提供了更多、更深入的洞察。它们还解锁了用于调试和探索聚类差异本质的新技术。这些新度量在数学上表现良好，并通过简单的方程相互关联。虽然这项工作可被视为 ABCDE 的替代形式化框架，但我们更倾向于将其视为互补的。它确实为聚类变化的幅度和质量提供了不同的视角，用户可以从每种方法中各取所需，以获得对变化的更多洞察。
引用
@article{arxiv.2409.18522,
title = {Decomposing the Jaccard Distance and the Jaccard Index in ABCDE},
author = {Stephan van Staden},
journal= {arXiv preprint arXiv:2409.18522},
year = {2024}
}