基于 ABCDE 的聚类 ID 分配方案评估
信息检索
2024-09-30 v1
摘要
聚类 ID 分配方案为聚类中的每个聚类分配唯一 ID。ID 分配的目标是语义 ID 稳定性，即在可能的情况下，与历史聚类相同底层概念的聚类应理想地获得与该历史聚类相同的 ID。语义 ID 稳定性允许用户使用跨聚类/时间稳定的 ID 来指代概念的聚类。本文解决了评估 ID 分配方案相对优势的问题。特别是，它考虑一个带有 ID 分配的历史聚类和一个通过基线和实验分配 ID 的新聚类。它产生衡量基线和实验之间 ID 分配差异幅度和质量的指标。通过将聚类 ID 分配问题转化为聚类成员问题，并使用 ABCDE 进行评估来实现这一点。ABCDE 是一种用于评估现实应用中聚类成员差异的高级且可扩展技术，其中数十亿项被分组到数百万个聚类中，并且某些项目比其他项目更重要。本文还描述了几个针对 ID 分配方案的基本评估设置的通用化。例如，评估同时改变聚类成员和聚类 ID 的变化是相当直接的。这些想法在示例中得到充分的阐述。
引用
@article{arxiv.2409.18254,
title = {Evaluation of Cluster Id Assignment Schemes with ABCDE},
author = {Stephan van Staden},
journal= {arXiv preprint arXiv:2409.18254},
year = {2024}
}