ProbMinHash——一类面向（概率）Jaccard相似度的局部敏感哈希算法
数据结构与算法
2020-10-27 v3 数据库
机器学习
机器学习
摘要
概率Jaccard相似度近来被提出作为Jaccard相似度的自然推广，用于度量元素带有相对频率或概率的集之间的邻近度。将其与一类哈希算法结合，把加权集映射为紧凑签名以快速估计两两相似度，就构成了诸如近重复检测、最近邻搜索或聚类等大数据应用中的有价值方法。本文引入一类单次扫描的局部敏感哈希算法，比原始方法快数个数量级。性能提升通过非独立而是集体地计算签名分量实现。基于该思想提出了四种不同算法。其中两种在统计上等价于原始方法，可作为直接替代使用。另两种甚至可通过在签名分量间引入统计依赖来改善估计误差。此外，所提技术可特化用于常规Jaccard相似度，得到高效算法，优于传统minwise hashing并能与SOTA方法竞争。
引用
@article{arxiv.1911.00675,
title = {ProbMinHash -- A Class of Locality-Sensitive Hash Algorithms for the (Probability) Jaccard Similarity},
author = {Otmar Ertl},
journal= {arXiv preprint arXiv:1911.00675},
year = {2020}
}
备注
to be published in TKDE, source code available at https://github.com/oertl/probminhash