最大一致采样与概率分布的 Jaccard 指数
数据结构与算法
2019-01-04 v2 信息检索
摘要
我们引入了简单高效的算法来计算概率分布的 MinHash，适用于稀疏和稠密数据，两种情况下运行时间均与当前最优方法相当。这些算法的碰撞概率是一种新的正向量相似性度量，我们对其进行了详细研究。我们描述了这种碰撞概率在基于采样的任何局部敏感哈希（Locality Sensitive Hash）意义下的最优性。我们认为，对于概率分布而言，这种相似性度量比其他加权 MinHash 算法所追求的相似性更有用，并且是 Jaccard 指数的自然推广。
引用
@article{arxiv.1809.04052,
title = {Maximally Consistent Sampling and the Jaccard Index of Probability Distributions},
author = {Ryan Moulton and Yunjiang Jiang},
journal= {arXiv preprint arXiv:1809.04052},
year = {2019}
}
备注
To appear in ICDMW 2018