再探改进的一致加权采样
数据结构与算法
2017-06-06 v1
摘要
Min-Hash 是一种用于高效估计二值集合 Jaccard 相似度的流行技术。一致加权采样（CWS）将 Min-Hash 方案推广到加权集合的素描，并引起了社区越来越多的兴趣。由于其与权重值无关的常数时间复杂度，改进的 CWS（ICWS）被认为是目前最先进的 CWS 算法。在本文中，我们重新审视 ICWS 并分析其底层机制，表明 ICWS 生成的哈希码的两个分量之间实际上存在依赖关系，这违反了独立性条件。为了解决这个问题，我们提出了一种改进的 ICWS（ICWS）算法，它不仅与 ICWS 具有相同的理论计算复杂度，而且遵守了 CWS 方案所需的条件。在多个合成数据集和真实文本数据集上的实验结果表明，在缓解了底层依赖关系后，我们的 ICWS 算法能够更准确地估计 Jaccard 相似度，并且在分类和 top- 检索任务中能够匹敌或优于包括 ICWS 在内的对比方法。
关键词
引用
@article{arxiv.1706.01172,
title = {Improved Consistent Weighted Sampling Revisited},
author = {Wei Wu and Bin Li and Ling Chen and Chengqi Zhang and Philip S. Yu},
journal= {arXiv preprint arXiv:1706.01172},
year = {2017}
}