一种用于估计流式集合中高相似度的内存高效草图方法
数据结构与算法
2019-05-23 v1
摘要
估计集合相似度与检测高度相似集合是数据库、机器学习和信息检索等领域的基础问题。MinHash 是一种近似集合 Jaccard 相似度的著名技术，已成功用于相似搜索和大规模学习等诸多应用。其两种压缩版本，b-bit MinHash 和 Odd Sketch，可显著减少原始 MinHash 方法的内存占用，尤其在估计高相似度（即接近 1 的相似度）时。尽管 MinHash 可应用于静态集合以及流式集合（其元素以流的方式给出且基数未知甚至无限），遗憾的是，b-bit MinHash 和 Odd Sketch 无法处理流式数据。为解决该问题，我们设计了一种内存高效的草图方法 MaxLogHash，以准确估计流式集合中的 Jaccard 相似度。与 MinHash 相比，我们的方法使用更小尺寸的寄存器（每个寄存器少于 7 位）为每个集合构建紧凑草图。我们还提供了一个简单而准确的估计量，用于从 MaxLogHash 草图推断 Jaccard 相似度。此外，我们推导了界定估计误差的公式，并确定了所需精度下的最小必要内存占用（即 MaxLogHash 草图使用的寄存器数量）。我们在多种数据集上进行了实验，实验结果表明，在估计高相似度时，我们的方法 MaxLogHash 在相同精度和计算代价下比 MinHash 约节省 5 倍内存。
引用
@article{arxiv.1905.08977,
title = {A Memory-Efficient Sketch Method for Estimating High Similarities in Streaming Sets},
author = {Pinghui Wang and Yiyan Qi and Yuanming Zhang and Qiaozhu Zhai and Chenxu Wang and John C. S. Lui and Xiaohong Guan},
journal= {arXiv preprint arXiv:1905.08977},
year = {2019}
}