SetSketch：填补 MinHash 与 HyperLogLog 之间的空白
数据结构与算法
2021-08-12 v3 数据库
摘要
MinHash 和 HyperLogLog 是草图算法，已成为大数据应用中集合摘要不可或缺的工具。虽然 HyperLogLog 可用极少空间统计不同元素个数，MinHash 适用于集合的快速比较，因为它允许估计 Jaccard 相似度及其他联合量。本文提出一种称为 SetSketch 的新数据结构，能够持续填补两种用例之间的空白。其可交换且幂等的插入操作以及可合并状态使其适用于分布式环境。针对基数和联合量的快速、鲁棒且易于实现的估计量，以及将 SetSketch 用于相似度搜索的能力，实现了多样化的应用。所提出的联合估计量也可应用于其他数据结构如 MinHash、HyperLogLog 或 HyperMinHash，且在许多情况下甚至优于相应的最先进估计量。
引用
@article{arxiv.2101.00314,
title = {SetSketch: Filling the Gap between MinHash and HyperLogLog},
author = {Otmar Ertl},
journal= {arXiv preprint arXiv:2101.00314},
year = {2021}
}
备注
VLDB 2021, extended version, 22 pages